CData Sync dbt変換機能 - Google BigQueryをサポートしました

dbt プロジェクトの作成

SELECT 'Opportunity' AS Source, SUM(ExpectedRevenue) AS Amount FROM cdatajp-support.sync_dbt.Opportunity
UNION ALL 
SELECT 'Order' AS Source, SUM(TotalAmount) AS Amount FROM cdatajp-support.sync_dbt.Order

次に、上記SQL 文を組み込んだ SalesSummay.sql ファイルを作成します。

/*
    Welcome to your first dbt model!
    Did you know that you can also configure models directly within SQL files?
    This will override configurations stated in dbt_project.yml

    Try changing "table" to "view" below
*/

{{ config(materialized='table') }}

with source_data as (
SELECT 'Opportunity' AS Source, SUM(ExpectedRevenue) AS Amount FROM cdatajp-support.sync_dbt.Opportunity
 UNION ALL
SELECT 'Order' AS Source, SUM(TotalAmount) AS Amount FROM cdatajp-support.sync_dbt.Order
)

select *
from source_data

/*
    Uncomment the line below to remove records with null `id` values
*/

-- where id is not null

作成したらdbt プロジェクトのmodels フォルダ配下に格納します。

> cd /Applications/dbt/cdata_dbt/models
> ls -l
total 8
-rw-r--r--@ 1 ****** staff 602 1 27 20:23 SalesSummay.sql
drwxr-xr-x 6 ****** staff 192 1 27 20:09 example

次に、CData Sync の変換タブを開き、「+変換を作成」ボタンをクリックします。

新しい変換を作成画面で以下の項目をセットして「作成」します。

• 変換名 : 任意（例：cdatadbt）
• 接続 : Google BigQueryのコネクション（例：GoogleBigQuery[GoogleBigQuery]）
• タイプ：DBT
• プロジェクトフォルダ：Local
• フォルダパス：dbt プロジェクトのパス（例：/Applications/dbt/cdata_dbt）
• 同期先スキーマ：Google BigQueryのDataset（例：sync_dbt）

変換の一覧画面に戻り、作成した変換を▶︎ボタンで手動実行します。しばらくして「The Transformation completed successfully.」と表示されればCData Sync からのdbt プロジェクト実行は成功です。

Google BigQuery のコンソールからSalesSummary テーブルが作成されていることを確認します。クエリエディタ で商談と注文の合計金額が格納されていることもか確認できます。

上記は手動で変換ジョブを実行してみましたが、変換のジョブ設定のTrigger タブより変換処理をジョブ（Salesforce データのGoogle BigQuery へのロード）の終了後に実行する設定も可能です。本設定によりEL（Extract & Load）後にT（Transform）処理も続けて実行することができます。

まとめ

本記事では、CData Sync でSalesforce のデータをGoogle BigQuery にロードした後にdbt プロジェクトを実行する例をご紹介しました。本機能を活用することで、CData Sync製品で400を超える多種多様なデータのデータ統合基盤（DataLake/DWH）への取り込みだけでなく、CData Sync からdbt プロジェクト内のテンプレート化されたSQL のコンパイルと実行が可能となり、モダンなデータモデリング環境の構築を実現することができるようになります。CData Sync 製品は以下のWebページより30日間の無償評価版も提供しておりますので是非お試しください。

CData Sync 製品ページ