Clover ETL からDatabricks データに連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Databricks JDBC Driver

Databricks 連携のパワフルなJava アプリケーションを素早く作成して配布。



データ連携ツールのCloverETL のビジュアルワークフローでDatabricks データ連携を作成。

CData JDBC Driver for Databricks は、CloverETL からDatabricks へのcreate, read, update, and delete (CRUD) commands 処理を実現します。本記事では、CloverETL でJDBC Driver を使い、Databricks をシンプルなCSV ファイルに変換します。

JDBC Data Source でDatabricks に接続

  1. Databricks データへの連携を作成します。CloverETL の新しいgraph で、Outline ペインのConnections ノードを右クリックして、Create Connection をクリックします。Database Connection ウィザードが表示されます。
  2. +アイコンをクリックして、.jar ファイルをロードします。インストールディレクトリのlib フォルダの cdata.jdbc.databricks.jar ファイルを選択します。
  3. JDBC URL を入力します。一般的な接続文字列は: jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;

    To connect to a Databricks cluster, set the properties as described below.

    Note: The needed values can be found in your Databricks instance by navigating to Clusters, and selecting the desired cluster, and selecting the JDBC/ODBC tab under Advanced Options.

    • Server: Set to the Server Hostname of your Databricks cluster.
    • HTTPPath: Set to the HTTP Path of your Databricks cluster.
    • Token: Set to your personal access token (this value can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab).

DBInputTable コンポーネントで、Databricks データをクエリ

  1. DBInputTable をReaders セクションからドラッグし、ジョブフローに置きます。ダブルクリックして、設定エディタを開きます。
  2. DB コネクションプロパティで、Databricks JDBC をドロップダウンから選択します。
  3. SQL クエリを入力します。例: SELECT * FROM Customers

UniversalDataWriter でQuery のOutput を記述

  1. Writer セクションからUniversalDataWriter をドラッグして、ジョブフローに置きます。
  2. UniversalDataWriter をダブルクリックして、設定エディタを開き、ファイルURL を足します。
  3. DBInputTable をダブルクリックして、Extract Metadata をクリックします。
  4. DBInputTable のOutput ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter のSelect Metadata メニューでCustomers テーブルを選択します。(UniversalDataWriter のInput ポートを右クリックしてメニューを開くことも可能です。)
  6. Run をクリックして、ファイルの書き込みを実行します。