Databricks データに連携しTalend からデータに接続

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

この記事では、Talend で簡単にCData JDBC Driver for Databricks をワークフローに統合してDatabricks データ連携する方法を説明します。ここではCData JDBC Driver for Databricks を使ってTalend でDatabricks をジョブフローに転送します。

JDBC データソースとしてTalend でDatabricks に接続

下記の手順に従って、Databricks にJDBC 接続を確立します：

1. Databricks を新しいデータベース接続を追加：新しく接続を追加するには、［Metadata］ノードを展開し［Db Connections］ノードを右クリックして［Create Connection］をクリックします。
2. ウィザードが表示されたら、接続に名前を入力します。

3. 次のページで、［DB Type］メニューから［Generic JDBC］を選択してJDBC URL を入力します。

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。

   Note：Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

   • Database：Databricks データベース名に設定。
   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • Token：個人用アクセストークンに設定（この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます）。

   以下は一般的なJDBC URL です：

   jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;
4. インストールディレクトリの［lib］サブフォルダ内にあるcdata.jdbc.databricks.jar ファイルへのパスを入力します。
5. 接続を右クリックして［Retrieve Schema］をクリックします。
6. デフォルトオプションで［Next］をクリックしインポートしたいテーブルを選択します。
7. デフォルトオプションでウィザードを終了します。

Customers テーブルをフラットファイルに出力

下記の手順に従って、Customers テーブルをフラットファイル出力コンポーネントに転送します：

1. ［Table Schemas］ノードで、テーブルをワークスペース内にドラッグします。
2. ダイアログが表示されたら［tJDBCInput］コンポーネントを選択します。
3. 次に、［tFileOutputDelimited］コンポーネントをPalette の［Business Intelligence］タブからワークスペース内にドラッグします。
4. Customers tJDBCInput コンポーネントを右クリックしてベクタを出力ファイルにドラッグします。

プロジェクトを実行してデータを転送します。