各製品の資料を入手。
詳細はこちら →CData
こんにちは!プロダクトスペシャリストの宮本です。
Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール(サービス)です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for Phoenix データ を使って、Phoenix データ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。
まずはCloud Data Fusion のインスタンスを作成します。
ここからは実際に、Data Fusion の設定をしていきます。 まずは JDBC Driver をアップロードを行います。
インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした Phoenix データ の JDBC Driver を使用するため、「DataBase」を選択します。 アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。
「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。
Phoenix Query Server 経由でApache Phoenix に接続します。デフォルトのポートと異なる場合は、Server とPort プロパティを設定してApache Phoenix に接続します。Servre プロパティは通常、Apache Phoenix をホストしているサーバーのホスト名またはIP アドレスです。
デフォルトでは、認証は使用されません(プレーン)。サーバーに認証が設定されている場合は、AuthScheme をNEGOTIATE に設定して、 必要な場合にはUser とPassword プロパティを設定して、Kerberos で認証します。
Connection String は以下の形式です。
jdbc:apachephoenix:Server=localhost;Port=8765;
上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。 こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。
こちらも同様に BigQuery のプロパティから下記内容を設定します。
まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。
デプロイ完了後、Runボタンが表示されますので、クリックします。
このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でPhoenix データ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。
是非、CData JDBC Driver for ApachePhoenix 30日の無償評価版 をダウンロードして、お試しください。