Azure Data Catalog データにSQL を使ってAnypoint からデータ連携

こんにちは！リードエンジニアの杉本です。

CData Mule Connector for AzureDataCatalog は、Azure Data Catalog をMule アプリケーションから標準SQL でのread 機能を可能にします。コネクタを使うことで、Mule アプリケーションでAzure Data Catalog のバックアップ、変換、レポートおよび分析を簡単に行えます。

この記事では、Mule プロジェクト内のCData Mule Connector for AzureDataCatalog を使用してAzure Data Catalog 用のWeb インターフェースを作成する方法を説明します。作成されたアプリケーションを使用すると、HTTP リクエストを使用してAzure Data Catalog をリクエストし、結果をJSON として返すことができます。以下のアウトラインと同じ手順を、CData Mule Connector で使用し、250+ の使用可能なWeb インターフェースを作成できます。

1. Anypoint Studio で新しいMule プロジェクトを作成します。
2. ［Message Flow］にHTTP Connector を追加します。
3. HTTP Connector のアドレスを設定します。
4. CData Azure Data Catalog Connector をHTTP Connector の後に、同じフロー内に追加します。
5. 新しい接続を作成または既存の接続を編集し、Azure Data Catalog に接続するようにプロパティを構成します。(以下を参照)接続が構成されたら、［Test Connection］をクリックしてAzure Data Catalog への接続を確認します。

   Azure Data Catalog 接続プロパティの取得・設定方法

   OAuth 認証で接続

   Azure Data Catalog の認証にはOAuth を使用します。CData 製品では組込みOAuth が利用できるので、接続プロパティを設定することなく接続を試行するだけで、ブラウザ経由でAAS に認証できます。詳しい設定方法については、ヘルプドキュメントの「Azure Data Catalog への認証」セクションを参照してください。

   設定は任意ですが、CatalogName プロパティを設定することでAzure Data Catalog から返されるカタログデータを明示的に指定できます。

   CatalogName：Azure Data Catalog に紐づいているカタログ名に設定。空のままにすると、デフォルトのカタログが使用されます。カタログ名は、「Azure Portal」->「データカタログ」->「カタログ名」から取得できます。

6. CData Azure Data Catalog Connector を構成します。
   1. ［Operation］を［Select with Streaming］に設定します。
   2. ［Query type］を［Dynamic］に設定します。
   3. SQL クエリをSELECT * FROM #[message.inboundProperties.'http.query.params'.get('table')] に設定してURL パラメータtable を解析し、SELECT クエリのターゲットとして使用します。他の潜在的なURL パラメータを参照することにより、クエリをさらにカスタマイズできます。
7. ［Transform Message Component］をフローに追加します。
   1. 入力から出力のMap にPayload をマッピングします。
   2. Payload をJSON に変換するには、Output スクリプトを以下のように設定します。

        %dw 1.0
        %output application/json
        ---
        payload
                

8. Azure Data Catalog を表示するには、HTTP Connector 用に構成したアドレス(デフォルトではlocalhost:8081) に移動し、table のURL parameter はhttp://localhost:8081?table=Tables としてテーブル名を渡します。
   Tables データは、Web ブラウザおよびJSON エンドポイントを使用できるその他のツールでJSON として使用できます。

カスタムアプリでAzure Data Catalog をJSON データとして操作するためのシンプルなWeb インターフェースと、様々なBI、レポート、およびETL ツールが完成しました。Mule Connector for AzureDataCatalog の30日間無料トライアルをダウンロードして今すぐMule Applications でCData の違いを確認してみてください。