ノンコーディングでデータを連携・同期・統合するデータ連携(EAI)ツール「Waha! Transformer」には、ODBC でデータベースへ接続する機能が備わっているので、これを使ってDatabricks データ連携を行うことが可能です。
通常、Databricks などのSaaS として提供されるアプリケーションにはWeb API でアクセスしますが、CData Databricks ODBC Driver によって、RDB にアクセスするのと同感覚で、Databricks のデータを扱うことができます。
本記事では、CData Databricks 内のデータをファイルに出力するフローを作成する手順をご紹介します。
本記事は、CData Software が検証および執筆を行っております。本記事の内容については、CData Softare(sales@cdata.co.jp)までお問い合わせください。
CData Databricksへの接続情報の作成
Waha! Transformer DesignerにてCData Databricksの接続情報を作成して、ODBC接続設定を行います。
-
Designerを起動して左側のペインから、接続情報を右クリックして、接続情報新規作成を選択します。
-
接続情報新規作成ウィンドウが開くので、SQLDBを選択します。
-
SQLDB接続情報のプロパティウィンドウにて、名前に任意の名称、プロバイダ種類にODBC Driver、接続設定内のデータソース名に「CData Databricks Source Sys」を選択して、接続チェックボタンをクリックして正常に接続できることを確認します。
-
接続情報が作成されたことを確認します。
CData Databricksのビューの作成
CData Databricksのビューを作成します。
-
Designerの左側のペインから、ビューのテンプレートを右クリックして、ビュー新規作成を選択します。
-
ビューのプロパティウィンドウにて、ビュー名に任意の名称、接続情報の参照ボタンをクリックして上記手順で作成したCData Databricksへの接続情報を選択、下部のインポートボタンをクリックします。
-
インポートウィザード-インポート方法の選択ウィンドウが開くので、データベースのカラム定義情報から取得が選択されていることを確認して、次へボタンをクリックします。
-
現在設定されている接続情報を使用するが選択されていることを確認して、次へボタンをクリックします。
-
テーブル一覧にDatabricks内のテーブルやビューが表示されるので任意のテーブルを選択して次へボタンをクリックします。
-
カラム一覧にDatabricksの選択したテーブル内のカラムが表示されるので全項目選択する場合は、すべてオンをクリックして完了ボタンをクリックします。
-
カラム設定エリアに上記選択したカラム一覧が表示されたことを確認してプレビューボタンをクリックします。
-
選択したテーブル内のデータが表示されることを確認して閉じるボタンをクリックします。
-
ビューのプロパティ画面に戻り、閉じるボタンをクリックしてビューが作成されたことを確認します。
出力ファイルの接続情報の作成
出力するファイルの接続情報を作成します。
-
接続情報を右クリックして、接続情報新規作成を選択します。
-
接続情報新規作成ウィンドウが開くので、可変長テキストを選択します。
-
可変長テキスト接続情報のプロパティウィンドウにて、名前に任意の名称、パス名にCSVファイルを出力するパス、必要に応じてその他の項目を設定してOKボタンをクリックします。
-
接続情報が作成されたことを確認します。
出力ファイルのビューの作成
CSVファイルのビューを作成します。
-
ビューのテンプレートを右クリックして、ビュー新規作成を選択します。
-
ビューのプロパティウィンドウにて、ビュー名に任意の名称、接続情報の参照ボタンをクリックして上記手順で作成したCSVファイルの接続情報を選択、下部のインポートボタンをクリックします。
-
インポートウィザード-インポート方法の選択ウィンドウが開くので、データベースのカラム定義情報から取得が選択されていることを確認して、次へボタンをクリックします。
-
その他の接続情報を選択してCData Databricksの接続情報を選択して、次へボタンをクリックします。
-
テーブル一覧にDatabricks内のテーブルやビューが表示されるので上記手順で選択したテーブルを選択して次へボタンをクリックします。
-
カラム一覧にDatabricksの選択したテーブル内のカラムが表示されるので全項目選択する場合は、すべてオンをクリックして完了ボタンをクリックします。
-
カラム設定エリアに上記選択したカラム一覧が表示されたことを確認してOKボタンをクリックしてビューが作成されたことを確認します。
CData DatabricksをCSVファイルに出力するジョブの作成
CData DatabricksをCSVファイルに出力するジョブを作成します。
-
ジョブを右クリックして、ジョブ新規作成を選択します。
-
左側のペインのビューのテンプレート内のCData DatabricksビューとCSVビューを右側のペインにドラッグドロップで配置します。
-
右側ペイン上で右クリックしてビューフィルタ新規作成を選択します。
-
ビューフィルタ新規作成ウィンドウにて標準ビューフィルタを選択して、OKボタンをクリックします。
-
標準ビューフィルタのプロパティ画面の入出力ビュータブ内のビュー一覧からCData DatabricksビューとCSVビューをそれぞれ右側の入力ビュー、出力ビューにセットします。
-
次にカラムレイアウトタブにてカラムレイアウトの自動割当を行いOKボタンをクリックします。
-
右側ペイン上に標準ビューフィルタをドロップしてCData Databricksビューを入力にCSVビューに出力されるフローが作成されたことを確認します。
-
作成したジョブを任意の名称を付与して保存します。
CData DatabricksをCSVファイルに出力するジョブの実行
CData DatabricksをCSVファイルに出力するジョブを実行します。
-
メニューバー内の実行ボタンをクリックします。
-
読み込み件数の設定ウィンドウが表示されます。この内容でよければOKボタンをクリックします。
-
ジョブが正常に実行されたことを確認します。
-
出力されたCSVファイルを開きCData Databricks内のデータがファイルに出力されたことを確認します。