Databricks データに連携しTalend からデータに接続

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Databricks JDBC Driver

Databricks 連携のパワフルなJava アプリケーションを素早く作成して配布。



Databricks をTalend Open Studio の標準コンポーネントおよびデータソース設定ウィザードに統合。



この記事では、Talend で簡単にCData JDBC driver for Databricks をワークフローに統合してDatabricks データ連携する方法を説明します。ここではCData JDBC Driver for Databricks を使ってTalend でDatabricks をジョブフローに転送します。

※製品について詳しい情報をご希望の方は以下からお進みください。

JDBC データソースとしてTalend でDatabricks に接続

下記の手順に従って、Databricks にJDBC 接続を確立します:

  1. Databricks を新しいデータベース接続を追加:新しく接続を追加するには、[Metadata]ノードを展開し[Db Connections]ノードを右クリックして[Create Connection]をクリックします。
  2. ウィザードが表示されたら、接続に名前を入力します。
  3. 次のページで、[DB Type]メニューから[Generic JDBC]を選択してJDBC URL を入力します。

    To connect to a Databricks cluster, set the properties as described below.

    Note: The needed values can be found in your Databricks instance by navigating to Clusters, and selecting the desired cluster, and selecting the JDBC/ODBC tab under Advanced Options.

    • Server: Set to the Server Hostname of your Databricks cluster.
    • HTTPPath: Set to the HTTP Path of your Databricks cluster.
    • Token: Set to your personal access token (this value can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab).

    以下は一般的なJDBC URL です:

    jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;
  4. インストールディレクトリの[lib]サブフォルダ内にあるcdata.jdbc.databricks.jar ファイルへのパスを入力します。
  5. 接続を右クリックして[Retrieve Schema]をクリックします。
  6. デフォルトオプションで[Next]をクリックしインポートしたいテーブルを選択します。
  7. デフォルトオプションでウィザードを終了します。

Customers テーブルをフラットファイルに出力

下記の手順に従って、Customers テーブルをフラットファイル出力コンポーネントに転送します:

  1. [Table Schemas]ノードで、テーブルをワークスペース内にドラッグします。
  2. ダイアログが表示されたら[tJDBCInput]コンポーネントを選択します。
  3. 次に、[tFileOutputDelimited]コンポーネントをPalette の[Business Intelligence]タブからワークスペース内にドラッグします。
  4. Customers tJDBCInput コンポーネントを右クリックしてベクタを出力ファイルにドラッグします。

プロジェクトを実行してデータを転送します。