Informatica Cloud でAzure Data Lake Storage とデータ連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica Cloud を使うと、抽出、変換、読み込み（ETL）のタスクをクラウド上で実行できます。Cloud Secure Agent およびCData JDBC Driver for ADLS を組み合わせると、Informatica Cloud で直接Azure Data Lake Storage データにリアルタイムでアクセスできます。この記事では、Cloud Secure Agent のダウンロードと登録、JDBC ドライバーを経由したAzure Data Lake Storage への接続、そしてInformatica Cloud の処理で使用可能なマッピングの生成について紹介します。

Informatica Cloud Secure Agent

JDBC ドライバー経由でAzure Data Lake Storage データを操作するには、Cloud Secure Agent をインストールします。

1. Informatica Cloud の「管理者」ページに移動します。
2. 「ランタイム環境」タブを選択します。
3. 「Secure Agent のダウンロード」をクリックします。
4. 「インストールトークン」の文字列を控えておきます。
5. クライアントマシンでインストーラーを実行し、ユーザー名とインストールトークンを入力してCloud Secure Agent を登録します。

NOTE：Cloud Secure Agent の全サービスが立ち上がるまで、時間がかかる場合があります。

Azure Data Lake Storage JDBC Driver への接続

Cloud Secure Agent をインストールして実行したら、JDBC ドライバーを使ってAzure Data Lake Storage に接続できるようになります。はじめに「接続」タブをクリックし、続けて「新しい接続」をクリックします。接続するには次のプロパティを入力します。

• 接続名：接続の名前を入力（例：CData Azure Data Lake Storage Connection）。
• タイプ：「JDBC_IC (Informatica Cloud)」を選択。
• ランタイム環境：Cloud Secure Agent をインストールしたランタイム環境を選択。
• JDBC 接続URL：Azure Data Lake Storage のJDBC URL に設定。URL は次のようになります。
  
  jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH;

  Azure DataLakeStorage 接続プロパティの取得・設定方法

  Azure DataLakeStorage Gen 1 への接続

  Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

  • Schema：ADLSGen1 を指定。
  • Account：アカウント名に設定。
  • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
  • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

  Azure DataLakeStorage Gen 1 への認証

  Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

  Azure DataLakeStorage Gen 2 への接続

  Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

  • Schema：ADLSGen2 に設定。
  • Account：ストレージアカウント名に設定。
  • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
  • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

  Azure DataLakeStorage Gen 2 への認証

  Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

  アクセスキーを使用した認証

  アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

  Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

  1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
  2. 設定で「アクセスキー」を選択します。
  3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

  共有アクセス署名（SAS）

  共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

  組み込みの接続文字列デザイナー

  JDBC URL の作成の補助として、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。.jar ファイルをダブルクリックするか、コマンドラインから.jar ファイルを実行します。

  java -jar cdata.jdbc.adls.jar

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

• JDBC Jar ディレクトリ：JDBC ドライバーがインストールされたディレクトリ（Windows の場合、デフォルトではC:\Program Files\CData\CData JDBC Driver for ADLS\）直下のlib フォルダに設定。
• JDBC Driver Class Name：cdata.jdbc.adls.ADLSDriver に設定。
• ユーザー名：プレースホルダーの値に設定（Azure Data Lake Storage がユーザー名を必要としないため）。
• パスワード：プレースホルダーの値に設定（Azure Data Lake Storage がパスワードを必要としないため）。

Azure Data Lake Storage データマッピングの作成

Azure Data Lake Storage への接続設定が完了し、Informatica のどのプロセスでもAzure Data Lake Storage データにアクセスできるようになりました。以下の手順で、Azure Data Lake Storage から別のデータターゲットへのマッピングを作成します。

1. 「データ統合」ページに移動します。
2. 「新規」をクリックし、「マッピング」タブを開くと表示される「マッピング」を選択します。
3. 「ソース」ノードをクリックし、表示されるプロパティの「ソース」タブで「接続」と「ソースタイプ」を設定します。
4. 「選択」をクリックして、表示されるテーブル一覧からマッピングするテーブルを選択します。
5. 「フィールド」タブで、Azure Data Lake Storage テーブルからマッピングするフィールドを選択します。
6. 「ターゲット」ノードをクリックし、ターゲットソース、テーブル、およびフィールドを設定します。「フィールドマッピング」タブで、ソースフィールドをターゲットフィールドにマッピングします。

マッピングの設定が完了し、Informatica Cloud でサポートされている接続とリアルタイムAzure Data Lake Storage データの統合を開始する準備ができました。CData JDBC Driver for ADLS の30日の無償評価版をダウンロードして、今日からInformatica Cloud でリアルタイムAzure Data Lake Storage データの操作をはじめましょう！