Ready to get started?

Learn more about the CData JDBC Driver for Streak or download a free trial:

Download Now

Google Cloud Data Fusion でStreak からBigQuery へデータ連携

CData JDBC Driver を組み込んで "Streak" から"BigQuery" へのデータ連携

Google Cloud Data Fusion は、フルマネージドのデータ統合プラットフォームです。ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール(サービス)です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、今回はCData Driver を組み込んでいきます。

Cloud Data Fusion の API を有効化

左側のサイドメニューから「API とサービス」をクリックし、「+APIとサービスを有効化」

Cloud Data Fusion のAPI を下記画面で有効化にする。

Cloud Data Fusion の設定

CData JDBC Driver for streak を組み込む前に、Cloud Data Fusion を使えるように設定します。

インスタンス作成

Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。

サービスアカウントへの権限付与

作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。

画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。

CData JDBC Driver for streak のアップロード

ここからは実際に、Data Fusion の設定をしていきます。まずは JDBC Driver をアップロードを行います。下記赤枠をクリックして Data Fusion の Control Center を開きます。

Control Center が表示されたら、「+」ボタンをクリックして JDBC Driver をアップロードしていきます。

  • Name:アップロードしたドライバーに設定する名前
  • Class name:cdata.jdbc.streak.StreakDriver

アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「streak-connector-java-19.0.7115.0.jar」に変更しました。

アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。

パイプラインの作成

インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした Streakの JDBC Driver を使用するため、「DataBase」を選択します。アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。

「DataBase」の設定

    「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。
  • Label:Streak
  • Streak
  • Streak Driver(Driver をアップロードした際の名前)
  • jdbc
  • Streak(Streak へ接続する際の JDBC URL)
  • インプットしたいデータを抽出するクエリ

上のキャプチャの赤枠は、Streakから BigQuery へアウトプットするデータの定義となります。
こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。

「BigQuery」の設定

  • Label:BigQuery
  • Reference Name:BigQuery
  • Project ID:cdatajp
  • DataSet:demo
  • Account_DataFusion

作成したパイプラインの実行

まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。

デプロイ完了後、Runボタンが表示されますので、クリックします。

処理が完了すると、Status が緑印で Succeeded と表示されます。また、 Streak から何件アウトプットされて、BigQuery へ何件インプットされたかも表示されています。

アウトプットされた BigQuery 側の確認

処理が正常終了されたので、BigQuery 側を確認します。 事前に BigQuery のプロパティの設定で指定していた「Account_DataFusion」というテーブルが作成されていることが確認できました。

 
 
ダウンロード