JDBC データソースでAzure Data Lake Storage との間にInformatica マッピングを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for ADLS を利用することで、Informatica の強力なデータ転送および操作機能とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、Informatica PowerCenter でAzure Data Lake Storage を転送および参照する方法を示します。

ドライバーをデプロイ

ドライバーをInformatica PowerCenter サーバーに展開するために、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーします。Informatica-installation-directory\services\shared\jars\thirdparty.

Developer ツールでAzure Data Lake Storage を使用するには、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーする必要があります。

• Informatica-installation-directory\client\externaljdbcjars
• Informatica-installation-directory\externaljdbcjars

JDBC 接続の作成

以下のステップに従って、Informatica Developer に接続します。

1. ［Connection Explorer］ペインで［domain］を右クリックし、［Create a Connection］をクリックします。
2. 表示される［New Database Connection］ウィザードで、接続の名前とId を入力し、［Type］メニューで［JDBC］を選択します。
3. ［JDBC Driver Class Name］のプロパティで次のコードを入力します。 cdata.jdbc.adls.ADLSDriver
4. ［Connection String］プロパティでは、Azure Data Lake Storage の接続プロパティを使用してJDBC URLを入力します。

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

   ビルトイン接続文字列デザイナ

   JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

   java -jar cdata.jdbc.adls.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   以下は一般的な接続文字列です。

   jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH

Azure Data Lake Storage テーブルを参照

ドライバーJAR をクラスパスに追加してJDBC 接続を作成すると、Informatica のAzure Data Lake Storage エンティティにアクセスできるようになります。以下のステップに従ってAzure Data Lake Storage に接続し、Azure Data Lake Storage テーブルを参照します。

1. リポジトリに接続します。
2. ［Connection Explorer］で、［connection］を右クリックし、［Connect］をクリックします。
3. ［Show Default Schema Only］オプションをクリアします。

以下より、［Data Viewer］でAzure Data Lake Storage テーブルを参照できるようになります。テーブルの［node］を右クリックし、［Open］をクリックします。［Data Viewer］で［Run］をクリックします。

Azure Data Lake Storage データオブジェクトの作成

以下のステップに従って、プロジェクトにAzure Data Lake Storage テーブルを追加します。

1. Azure Data Lake Storage でテーブルを選択し、右クリックして［Add to Project］をクリックします。
2. 表示されるダイアログでリソースごとにデータオブジェクトを作成するオプションを選択します。
3. ［Select Location］ダイアログで、プロジェクトを選択します。

   マッピングの作成

   以下のステップに従って、マッピングにAzure Data Lake Storage ソースを追加します。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Mapping］と進みます。
   2. Azure Data Lake Storage 接続のノードを展開し、テーブルのデータオブジェクトをエディターにドラッグします。.
   3. 表示されるダイアログで、［Read］オプションを選択します。

   以下のステップに従って、Azure Data Lake Storage カラムをフラットファイルにマッピングします。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Data Object］と進みます。
   2. ［Flat File Data Object］->［Create as Empty］->［Fixed Width］と選択していきます。
   3. Azure Data Lake Storage オブジェクトのプロパティで必要な行を選択して右クリックし、［copy］をクリックします。行をフラットファイルのプロパティにペーストします。
   4. フラットファイルのデータオブジェクトをマッピングにドラッグします。
   5. 表示されるダイアログで、［Write］オプションを選択します。
   6. クリックしてドラッグすることで、列を接続します。

   Azure Data Lake Storage を転送するために、ワークスペースで右クリックし、［Run Mapping］をクリックします。