Google Cloud Storage データにSQL を使ってAnypoint からデータ連携

こんにちは！リードエンジニアの杉本です。

CData Mule Connector for GoogleCloudStorage は、Google Cloud Storage をMule アプリケーションから標準SQL でのread 機能を可能にします。コネクタを使うことで、Mule アプリケーションでGoogle Cloud Storage のバックアップ、変換、レポートおよび分析を簡単に行えます。

この記事では、Mule プロジェクト内のCData Mule Connector for GoogleCloudStorage を使用してGoogle Cloud Storage 用のWeb インターフェースを作成する方法を説明します。作成されたアプリケーションを使用すると、HTTP リクエストを使用してGoogle Cloud Storage をリクエストし、結果をJSON として返すことができます。以下のアウトラインと同じ手順を、CData Mule Connector で使用し、250+ の使用可能なWeb インターフェースを作成できます。

1. Anypoint Studio で新しいMule プロジェクトを作成します。
2. ［Message Flow］にHTTP Connector を追加します。
3. HTTP Connector のアドレスを設定します。
4. CData Google Cloud Storage Connector をHTTP Connector の後に、同じフロー内に追加します。
5. 新しい接続を作成または既存の接続を編集し、Google Cloud Storage に接続するようにプロパティを構成します。(以下を参照)接続が構成されたら、［Test Connection］をクリックしてGoogle Cloud Storage への接続を確認します。

   ユーザーアカウントでの認証

   ユーザー資格情報の接続プロパティを設定することなく接続できます。InitiateOAuth をGETANDREFRESH に設定したら、接続の準備が完了です。

   接続すると、Google Cloud Storage OAuth エンドポイントがデフォルトブラウザで開きます。ログインして権限を付与すると、OAuth プロセスが完了します。

   サービスアカウントでの認証

   サービスアカウントには、ブラウザでユーザー認証を行わないサイレント認証があります。サービスアカウントを使用して、企業全体のアクセススコープを委任することもできます。

   このフローでは、OAuth アプリケーションを作成する必要があります。詳しくは、ヘルプドキュメントを参照してください。以下の接続プロパティを設定したら、接続の準備が完了です：

   • InitiateOAuth: GETANDREFRESH に設定。
   • OAuthJWTCertType: PFXFILE に設定。
   • OAuthJWTCert: 生成した.p12 ファイルへのパスに設定。
   • OAuthJWTCertPassword: .p12 ファイルのパスワードに設定。
   • OAuthJWTCertSubject: 証明書ストアの最初の証明書が選ばれるように"*" に設定。
   • OAuthJWTIssuer: 「サービスアカウント」セクションで「サービスアカウントの管理」をクリックし、このフィールドをサービスアカウントID フィールドに表示されているE メールアドレスに設定。
   • OAuthJWTSubject: サブジェクトタイプが"enterprise" に設定されている場合はエンタープライズID に設定し、"user" に設定されている場合はアプリユーザーID に設定。
   • ProjectId: 接続するプロジェクトのID に設定。

   これで、サービスアカウントのOAuth フローが完了します。

6. CData Google Cloud Storage Connector を構成します。
   1. ［Operation］を［Select with Streaming］に設定します。
   2. ［Query type］を［Dynamic］に設定します。
   3. SQL クエリをSELECT * FROM #[message.inboundProperties.'http.query.params'.get('table')] に設定してURL パラメータtable を解析し、SELECT クエリのターゲットとして使用します。他の潜在的なURL パラメータを参照することにより、クエリをさらにカスタマイズできます。
7. ［Transform Message Component］をフローに追加します。
   1. 入力から出力のMap にPayload をマッピングします。
   2. Payload をJSON に変換するには、Output スクリプトを以下のように設定します。

        %dw 1.0
        %output application/json
        ---
        payload
                

8. Google Cloud Storage を表示するには、HTTP Connector 用に構成したアドレス(デフォルトではlocalhost:8081) に移動し、table のURL parameter はhttp://localhost:8081?table=Buckets としてテーブル名を渡します。
   Buckets データは、Web ブラウザおよびJSON エンドポイントを使用できるその他のツールでJSON として使用できます。

カスタムアプリでGoogle Cloud Storage をJSON データとして操作するためのシンプルなWeb インターフェースと、様々なBI、レポート、およびETL ツールが完成しました。Mule Connector for GoogleCloudStorage の30日間無料トライアルをダウンロードして今すぐMule Applications でCData の違いを確認してみてください。