JDBC データソースでBigQuery との間にInformatica マッピングを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for GoogleBigQuery を利用することで、Informatica の強力なデータ転送および操作機能とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、Informatica PowerCenter でBigQuery を転送および参照する方法を示します。

ドライバーをデプロイ

ドライバーをInformatica PowerCenter サーバーに展開するために、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーします。Informatica-installation-directory\services\shared\jars\thirdparty.

Developer ツールでBigQuery を使用するには、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーする必要があります。

• Informatica-installation-directory\client\externaljdbcjars
• Informatica-installation-directory\externaljdbcjars

JDBC 接続の作成

以下のステップに従って、Informatica Developer に接続します。

1. ［Connection Explorer］ペインで［domain］を右クリックし、［Create a Connection］をクリックします。
2. 表示される［New Database Connection］ウィザードで、接続の名前とId を入力し、［Type］メニューで［JDBC］を選択します。
3. ［JDBC Driver Class Name］のプロパティで次のコードを入力します。 cdata.jdbc.googlebigquery.GoogleBigQueryDriver
4. ［Connection String］プロパティでは、BigQuery の接続プロパティを使用してJDBC URLを入力します。

   BigQuery 接続プロパティの取得・設定方法

   Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。

   OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。

   OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

   ビルトイン接続文字列デザイナ

   JDBC URL の構成については、BigQuery JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

   java -jar cdata.jdbc.googlebigquery.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   以下は一般的な接続文字列です。

   jdbc:googlebigquery:DataSetId=MyDataSetId;ProjectId=MyProjectId;InitiateOAuth=GETANDREFRESH

BigQuery テーブルを参照

ドライバーJAR をクラスパスに追加してJDBC 接続を作成すると、Informatica のBigQuery エンティティにアクセスできるようになります。以下のステップに従ってBigQuery に接続し、BigQuery テーブルを参照します。

1. リポジトリに接続します。
2. ［Connection Explorer］で、［connection］を右クリックし、［Connect］をクリックします。
3. ［Show Default Schema Only］オプションをクリアします。

以下より、［Data Viewer］でBigQuery テーブルを参照できるようになります。テーブルの［node］を右クリックし、［Open］をクリックします。［Data Viewer］で［Run］をクリックします。

BigQuery のデータオブジェクトの作成

以下のステップに従って、プロジェクトにBigQuery テーブルを追加します。

1. BigQuery でテーブルを選択し、右クリックして［Add to Project］をクリックします。
2. 表示されるダイアログでリソースごとにデータオブジェクトを作成するオプションを選択します。
3. ［Select Location］ダイアログで、プロジェクトを選択します。

   マッピングの作成

   以下のステップに従って、マッピングにBigQuery ソースを追加します。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Mapping］と進みます。
   2. BigQuery 接続のノードを展開し、テーブルのデータオブジェクトをエディターにドラッグします。.
   3. 表示されるダイアログで、［Read］オプションを選択します。

   以下のステップに従って、BigQuery カラムをフラットファイルにマッピングします。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Data Object］と進みます。
   2. ［Flat File Data Object］->［Create as Empty］->［Fixed Width］と選択していきます。
   3. BigQuery オブジェクトのプロパティで必要な行を選択して右クリックし、［copy］をクリックします。行をフラットファイルのプロパティにペーストします。
   4. フラットファイルのデータオブジェクトをマッピングにドラッグします。
   5. 表示されるダイアログで、［Write］オプションを選択します。
   6. クリックしてドラッグすることで、列を接続します。

   BigQuery を転送するために、ワークスペースで右クリックし、［Run Mapping］をクリックします。