Clover ETL からGoogle Data Catalog データに連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Google Data Catalog JDBC Driver

Google Data Catalog データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



データ連携ツールのCloverETL のビジュアルワークフローでGoogle Data Catalog データ連携を作成。

CData JDBC Driver for Google Data Catalog は、CloverETL からGoogle Data Catalog へのqueries 処理を実現します。本記事では、CloverETL でJDBC Driver を使い、Google Data Catalog をシンプルなCSV ファイルに変換します。

JDBC Data Source でGoogle Data Catalog に接続

  1. Google Data Catalog データへの連携を作成します。CloverETL の新しいgraph で、Outline ペインのConnections ノードを右クリックして、Create Connection をクリックします。Database Connection ウィザードが表示されます。
  2. +アイコンをクリックして、.jar ファイルをロードします。インストールディレクトリのlib フォルダの cdata.jdbc.googledatacatalog.jar ファイルを選択します。
  3. JDBC URL を入力します。一般的な接続文字列は: jdbc:googledatacatalog:ProjectId=YourProjectId;

    Google Data Catalog uses the OAuth authentication standard. Authorize access to Google APIs on behalf on individual users or on behalf of users in a domain.

    Before connecting, specify the following to identify the organization and project you would like to connect to:

    • OrganizationId: The ID associated with the Google Cloud Platform organization resource you would like to connect to. Find this by navigating to the cloud console.

      Click the project selection drop-down, and select your organization from the list. Then, click More -> Settings. The organization ID is displayed on this page.

    • ProjectId: The ID associated with the Google Cloud Platform project resource you would like to connect to.

      Find this by navigating to the cloud console dashboard and selecting your project from the Select from drop-down. The project ID will be present in the Project info card.

    When you connect, the OAuth endpoint opens in your default browser. Log in and grant permissions to the application to completes the OAuth process. For more information, refer to the OAuth section in the Help documentation.

DBInputTable コンポーネントで、Google Data Catalog データをクエリ

  1. DBInputTable をReaders セクションからドラッグし、ジョブフローに置きます。ダブルクリックして、設定エディタを開きます。
  2. DB コネクションプロパティで、Google Data Catalog JDBC をドロップダウンから選択します。
  3. SQL クエリを入力します。例: SELECT * FROM Schemas

UniversalDataWriter でQuery のOutput を記述

  1. Writer セクションからUniversalDataWriter をドラッグして、ジョブフローに置きます。
  2. UniversalDataWriter をダブルクリックして、設定エディタを開き、ファイルURL を足します。
  3. DBInputTable をダブルクリックして、Extract Metadata をクリックします。
  4. DBInputTable のOutput ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter のSelect Metadata メニューでSchemas テーブルを選択します。(UniversalDataWriter のInput ポートを右クリックしてメニューを開くことも可能です。)
  6. Run をクリックして、ファイルの書き込みを実行します。