こんにちは！プロダクトスペシャリストの宮本です。
Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール（サービス）です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。
また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for Zuora データ を使って、Zuora データ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。
Cloud Data Fusion の準備
まずはCloud Data Fusion のインスタンスを作成します。
- Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。
- 作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。
![Cloud Data Fusion のインスタンス作成]()
- 画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。
役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。
CData JDBC Driver for Zuora のアップロード
ここからは実際に、Data Fusion の設定をしていきます。
まずは JDBC Driver をアップロードを行います。
- 「View Instance」をクリックして、Data Fusion の Control Center を開きます。
![Cloud Data Fusion のControl Center を開く]()
- Control Center が表示されたら、「＋」ボタンをクリックして JDBC Driver をアップロードしていきます。
- Name：アップロードしたドライバーに設定する名前
- Class name：cdata.jdbc.zuora.ZuoraDriver
![JDBC Driver をCloud Data Fusion にアップロード]()
- アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。
なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「zuora-connector-java-19.0.7115.0.jar」に変更しました。
![JDBC Driver をCloud Data Fusion にアップロード]()
- アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。
![JDBC Driver のアップロード終了]()
Zuora からGoogle BigQuery へのパイプラインの作成
Data Fusion のパイプライン作成
インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした Zuora データ の JDBC Driver を使用するため、「DataBase」を選択します。
アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。
![Source およびSink 先の選択]()
「DataBase」の設定
「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。
- Label：Zuora
- Reference Name：Zuora
- Plugin Name：Zuora Driver（Driver をアップロードした際の名前）
- Plugin Type：jdbc
- Connection String：Zuora へ接続する際の JDBC URL
- Import Query：インプットしたいデータを抽出するクエリ
Zuora はユーザー認証にOAuth 標準を使用しています。OAuth 認証ついて詳しくは、オンラインヘルプドキュメントを参照してください。
Tenant プロパティの設定
プロバイダへの有効な接続を作成するには、アカウントの設定と合致するテナント値を1つ選択する必要があります。以下は、利用可能なオプションのリストです。
- USProduction：リクエストはhttps://rest.zuora.com に送信されます。
- USAPISandbox：リクエストはhttps://rest.apisandbox.zuora.com に送信されます。
- USPerformanceTest：リクエストはhttps://rest.pt1.zuora.com に送信されます。
- EUProduction：リクエストはhttps://rest.eu.zuora.com に送信されます。
- EUSandbox：リクエストはhttps://rest.sandbox.eu.zuora.com に送信されます。
デフォルトではUSProduction テナントを使用します。
Zuora サービスの選択
データクエリとAQuA API の2つのZuora サービスを使用します。デフォルトでは、
ZuoraService は
AQuADataExport に設定されています。
DataQuery
データクエリ機能は、非同期の読み取り専用SQL クエリを実行することで、Zuora テナントからのデータのエクスポートを実現します。
このサービスは、素早く軽量なSQL クエリでの使用を推奨します。
制限
- フィルタ適用後の、テーブルごとの入力レコードの最大数： 1,000,000
- 出力レコードの最大数： 100,000
- テナントごとの、実行用に送信される同時クエリの最大数： 5
- テナントごとの、同時クエリの制限に達した後に実行用に送信され、キューに追加されるクエリの最大数： 10
- 1時間単位での、各クエリの最大処理時間： 1
- GB 単位での、各クエリに割り当てられるメモリの最大サイズ： 2
- Index Join を使用する際のインデックスの最大値。言い換えれば、Index Join を使用する際にWHERE
句で使われる一意の値に基づいた、左のテーブルから返されるレコードの最大数： 20.000
AQuADataExport
AQuA API のエクスポートは、すべてのオブジェクト（テーブル）のすべてのレコードをエクスポートするように設計されています。AQuA のクエリジョブには以下の制限があります。
制限
- AQuA のジョブ内のクエリが8時間以上実行されている場合、ジョブは自動的に停止されます。
- 停止されたAQuA のジョブは3回再試行可能で、その後失敗として返されます。
Connection String は以下の形式です。
jdbc:zuora:OAuthClientID=MyOAuthClientId;OAuthClientSecret=MyOAuthClientSecret;Tenant=USProduction;ZuoraService=DataQuery;InitiateOAuth=GETANDREFRESH
![Database プロパティ設定]()
上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。
こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。
![Output schema 設定]()
「BigQuery」の設定
こちらも同様に BigQuery のプロパティから下記内容を設定します。
- Label：BigQuery
- Reference Name：BigQuery
- Project ID：使用するProject ID
- DataSet：使用するDataSet
- Table：使用するテーブル名、例：Account_DataFusion
![BigQuery のプロパティ設定]()
作成したZuora データ からBigQuery のパイプラインの実行
まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。
![Deploy Cloud Data Fusion Pipeline]()
デプロイ完了後、Runボタンが表示されますので、クリックします。
![デプロイしたパイプラインを実行]()
このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でZuora データ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。
是非、CData JDBC Driver for Zuora 30日の無償評価版 をダウンロードして、お試しください。
