Azure Data Lake Storage データにSQL を使ってAnypoint からデータ連携

こんにちは！リードエンジニアの杉本です。

CData Mule Connector for ADLS は、Azure Data Lake Storage をMule アプリケーションから標準SQL でのread 機能を可能にします。コネクタを使うことで、Mule アプリケーションでAzure Data Lake Storage のバックアップ、変換、レポートおよび分析を簡単に行えます。

この記事では、Mule プロジェクト内のCData Mule Connector for ADLS を使用してAzure Data Lake Storage 用のWeb インターフェースを作成する方法を説明します。作成されたアプリケーションを使用すると、HTTP リクエストを使用してAzure Data Lake Storage をリクエストし、結果をJSON として返すことができます。以下のアウトラインと同じ手順を、CData Mule Connector で使用し、250+ の使用可能なWeb インターフェースを作成できます。

1. Anypoint Studio で新しいMule プロジェクトを作成します。
2. ［Message Flow］にHTTP Connector を追加します。
3. HTTP Connector のアドレスを設定します。
4. CData Azure Data Lake Storage Connector をHTTP Connector の後に、同じフロー内に追加します。
5. 新しい接続を作成または既存の接続を編集し、Azure Data Lake Storage に接続するようにプロパティを構成します。(以下を参照)接続が構成されたら、［Test Connection］をクリックしてAzure Data Lake Storage への接続を確認します。

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

6. CData Azure Data Lake Storage Connector を構成します。
   1. ［Operation］を［Select with Streaming］に設定します。
   2. ［Query type］を［Dynamic］に設定します。
   3. SQL クエリをSELECT * FROM #[message.inboundProperties.'http.query.params'.get('table')] に設定してURL パラメータtable を解析し、SELECT クエリのターゲットとして使用します。他の潜在的なURL パラメータを参照することにより、クエリをさらにカスタマイズできます。
7. ［Transform Message Component］をフローに追加します。
   1. 入力から出力のMap にPayload をマッピングします。
   2. Payload をJSON に変換するには、Output スクリプトを以下のように設定します。

        %dw 1.0
        %output application/json
        ---
        payload
                

8. Azure Data Lake Storage を表示するには、HTTP Connector 用に構成したアドレス(デフォルトではlocalhost:8081) に移動し、table のURL parameter はhttp://localhost:8081?table=Resources としてテーブル名を渡します。
   Resources データは、Web ブラウザおよびJSON エンドポイントを使用できるその他のツールでJSON として使用できます。

カスタムアプリでAzure Data Lake Storage をJSON データとして操作するためのシンプルなWeb インターフェースと、様々なBI、レポート、およびETL ツールが完成しました。Mule Connector for ADLS の30日間無料トライアルをダウンロードして今すぐMule Applications でCData の違いを確認してみてください。