Google Data Catalog データにSQL を使ってAnypoint からデータ連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Google Data Catalog MuleSoft Connector



Google Data Catalog のJSON エンドポイントを作成するために、HTTP やSQL をCData Mule Connector for Google Data Catalog とともに使用するシンプルなMule アプリケーションを作成します。

CData Mule Connector for Google Data Catalog は、Google Data Catalog をMule アプリケーションから標準SQL でのread 機能を可能にします。コネクタを使うことで、Mule アプリケーションでGoogle Data Catalog のバックアップ、変換、レポートおよび分析を簡単に行えます。

この記事では、Mule プロジェクト内のCData Mule Connector for Google Data Catalog を使用してGoogle Data Catalog 用のWeb インターフェースを作成する方法を説明します。作成されたアプリケーションを使用すると、HTTP リクエストを使用してGoogle Data Catalog をリクエストし、結果をJSON として返すことができます。以下のアウトラインと同じ手順を、CData Mule Connector で使用し、230+ の使用可能なWeb インターフェースを作成できます。

  1. Anypoint Studio で新しいMule プロジェクトを作成します。
  2. [Message Flow]にHTTP Connector を追加します。
  3. HTTP Connector のアドレスを設定します。
  4. CData Google Data Catalog Connector をHTTP Connector の後に、同じフロー内に追加します。
  5. 新しい接続を作成または既存の接続を編集し、Google Data Catalog に接続するようにプロパティを構成します。(以下を参照)接続が構成されたら、[Test Connection]をクリックしてGoogle Data Catalog への接続を確認します。

    Google Data Catalog uses the OAuth authentication standard. Authorize access to Google APIs on behalf on individual users or on behalf of users in a domain.

    Before connecting, specify the following to identify the organization and project you would like to connect to:

    • OrganizationId: The ID associated with the Google Cloud Platform organization resource you would like to connect to. Find this by navigating to the cloud console.

      Click the project selection drop-down, and select your organization from the list. Then, click More -> Settings. The organization ID is displayed on this page.

    • ProjectId: The ID associated with the Google Cloud Platform project resource you would like to connect to.

      Find this by navigating to the cloud console dashboard and selecting your project from the Select from drop-down. The project ID will be present in the Project info card.

    When you connect, the OAuth endpoint opens in your default browser. Log in and grant permissions to the application to completes the OAuth process. For more information, refer to the OAuth section in the Help documentation.

  6. CData Google Data Catalog Connector を構成します。
    1. [Operation]を[Select with Streaming]に設定します。
    2. [Query type]を[Dynamic]に設定します。
    3. SQL クエリをSELECT * FROM #[message.inboundProperties.'http.query.params'.get('table')] に設定してURL パラメータtable を解析し、SELECT クエリのターゲットとして使用します。他の潜在的なURL パラメータを参照することにより、クエリをさらにカスタマイズできます。
  7. [Transform Message Component]をフローに追加します。
    1. 入力から出力のMap にPayload をマッピングします。
    2. Payload をJSON に変換するには、Output スクリプトを以下のように設定します。
      %dw 1.0
      %output application/json
      ---
      payload
              
  8. Google Data Catalog を表示するには、HTTP Connector 用に構成したアドレス(デフォルトではlocalhost:8081) に移動し、table のURL parameter はhttp://localhost:8081?table=Schemas としてテーブル名を渡します。
    Schemas データは、Web ブラウザおよびJSON エンドポイントを使用できるその他のツールでJSON として使用できます。

カスタムアプリでGoogle Data Catalog をJSON データとして操作するためのシンプルなWeb インターフェースと、様々なBI、レポート、およびETL ツールが完成しました。Mule Connector for Google Data Catalog の30日間無料トライアルをダウンロードして今すぐMule Applications でCData の違いを確認してみてください。