各製品の資料を入手。
詳細はこちら →Google Cloud Data Fusion でBing Search のデータを扱う方法:CData JDBC Driver
CData JDBC ドライバを使って、Google Cloud Data fusion で Bing Search のデータ をBigQuery にETL。
最終更新日:2022-05-16
この記事で実現できるBing Search 連携のシナリオ
こんにちは!プロダクトスペシャリストの宮本です。
Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール(サービス)です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for Bing Search のデータ を使って、Bing Search のデータ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。
Cloud Data Fusion の準備
まずはCloud Data Fusion のインスタンスを作成します。
- Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。
- 作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。
- 画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。 役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。

CData JDBC Driver for Bing のアップロード
ここからは実際に、Data Fusion の設定をしていきます。 まずは JDBC Driver をアップロードを行います。
- 「View Instance」をクリックして、Data Fusion の Control Center を開きます。
- Control Center が表示されたら、「+」ボタンをクリックして JDBC Driver をアップロードしていきます。
- Name:アップロードしたドライバーに設定する名前
- Class name:cdata.jdbc.bing.BingDriver
- アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。 なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「bing-connector-java-19.0.7115.0.jar」に変更しました。
- アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。



Bing Search からGoogle BigQuery へのパイプラインの作成
Data Fusion のパイプライン作成
インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした Bing Search のデータ の JDBC Driver を使用するため、「DataBase」を選択します。 アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。

「DataBase」の設定
「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。
- Label:Bing
- Reference Name:Bing
- Plugin Name:Bing Driver(Driver をアップロードした際の名前)
- Plugin Type:jdbc
- Connection String:Bing へ接続する際の JDBC URL
- Import Query:インプットしたいデータを抽出するクエリ
Bing 接続プロパティの取得・設定方法
Bing に接続するには、ApiKey 接続プロパティを設定します。 API キーを取得するには、Bing Web Search API が Azure Cognitive Services からBing Search Services に移動したため、Azure Marketplace からBing Search リソースを作成します。 リソースが作成されると、サブスクリプションキー(API キー)が発行されます。これは、接続設定のAPIKey プロパティに使用します。
Azure Marketplace 経由でのBing Search リソースの作成
- Microsoft アカウントでAzure ポータルにサインインします。アカウントを取得していない場合は、作成をクリックします。
- 検索バーにBing と入力し、Marketplace から適切なBing サービスを選択します。
- サブスクリプションの詳細を選択し、無料使用版をクリックしてトライアルに登録するか、サブスクリプションをお持ちでない場合は購入します。
- 既存のリソースグループを選択するか、新しいグループを作成してリソースを構成します。
- インスタンスの詳細で、名前、リージョンを入力し、該当する場合は、Free F1 の価格ティアまたは別のパッケージを選択します。
- 契約条件に同意し、確認と作成をクリックします。デプロイが完了したら、リソースへ移動をクリックします。
- API キーを取得するには、左側のメニューでキーとエンドポイントをクリックします。このキーをAPIKey プロパティに使用します。
詳細はヘルプドキュメントの「はじめに」を参照してください。
Connection String は以下の形式です。
jdbc:bing:APIKey=MyAPIKey;

上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。 こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。

「BigQuery」の設定
こちらも同様に BigQuery のプロパティから下記内容を設定します。
- Label:BigQuery
- Reference Name:BigQuery
- Project ID:使用するProject ID
- DataSet:使用するDataSet
- Table:使用するテーブル名、例:Account_DataFusion

作成したBing Search のデータ からBigQuery のパイプラインの実行
まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。

デプロイ完了後、Runボタンが表示されますので、クリックします。

このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でBing Search のデータ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。
是非、CData JDBC Driver for Bing 30日の無償評価版 をダウンロードして、お試しください。