製品をチェック

Databricks Driver の30日間無償トライアルをダウンロード

 30日間の無償トライアルへ

製品の詳細

Databricks アイコン Databricks JDBC Driver 相談したい

Databricks 連携のパワフルなJava アプリケーションを素早く作成して配布。

Databricks のデータ のPostgreSQL インターフェースを作成

Databricks JDBC Driver のリモート機能を使用し、データアクセス用のPostgreSQL エントリポイントを作成します。

加藤龍彦
デジタルマーケティング

最終更新日:2022-12-02
databricks ロゴ

CData

jdbc ロゴ画像
PostgreSQL ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

PostgreSQL には多くの対応クライアントがあります。標準のドライバーからBI、アナリティクスツールまで、PostgreSQL はデータ接続の人気のインターフェースです。JDBC ドライバーを使用することで、簡単に任意の標準クライアントから接続できるPostgreSQL エントリポイントを作成できます。

Databricks にPostgreSQL データベースとしてアクセスするには、CData JDBC Driver for Databricks とJDBC foreign data wrapper (FDW) を使用します。この記事ではFDW をコンパイルしてインストールし、PostgreSQL サーバーからDatabricks にクエリを実行します。

JDBC データソースとしてDatabricks のデータに接続する

JDBC データソースとしてDatabricks に接続するには、以下が必要です。

  • Driver のJAR パス:JAR ファイルは、インストールディレクトリのlib サブフォルダにあります。
  • Driver クラス

    cdata.jdbc.databricks.DatabricksDriver
  • JDBC URL: URL は、"jdbc:databricks:" で始まり、セミコロンで区切られた名前と値の組み合わせで任意の接続プロパティを含めることができます。

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。

    Note:Databricks インスタンスで必要な値は、クラスターに移動して目的のクラスターを選択し、Advanced Options の下にあるJDBC/ODBC タブを選択することで見つけることができます。

    • Database:Databricks データベース名に設定。
    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • Token:個人用アクセストークンに設定(この値は、Databricks インスタンスのユーザー設定ページに移動してアクセストークンタブを選択することで取得できます)。

    ビルトイン接続文字列デザイナ

    JDBC URL の構成については、Databricks JDBC Driver に組み込まれている接続文字列デザイナを使用できます。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

    java -jar cdata.jdbc.databricks.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    Using the built-in connection string designer to generate a JDBC URL (Salesforce is shown.)

    以下は一般的なJDBC URL です。

    jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;

JDBC FDW を構築する

FDW は、PostgreSQL を再コンパイルせずに、PostgreSQL の拡張機能としてインストールできます。例としてjdbc2_fdw 拡張子を使用します。

  1. ご使用のバージョンのJRE 共有オブジェクトから、/usr/lib/libjvm.so にシンボリックリンクを追加します。コマンド例: ln -s /usr/lib/jvm/java-6-openjdk/jre/lib/amd64/server/libjvm.so /usr/lib/libjvm.so
  2. ビルドするには、以下のコマンドを実行してください。 make install USE_PGXS=1

Databricks のデータをPostgreSQL データベースとしてクエリする

拡張機能をインストールした後、以下のステップに従ってDatabricks へのクエリの実行を開始します。

  1. データベースにログイン
  2. データベースの拡張機能をロード CREATE EXTENSION jdbc2_fdw;
  3. Databricks のオブジェクトを作成 CREATE SERVER Databricks FOREIGN DATA WRAPPER jdbc2_fdw OPTIONS ( drivername 'cdata.jdbc.databricks.DatabricksDriver', url 'jdbc:databricks:Server=127.0.0.1;Port=443;TransportMode=HTTP;HTTPPath=MyHTTPPath;UseSSL=True;User=MyUser;Password=MyPassword;', querytimeout '15', jarfile '/home/MyUser/CData/CData\ JDBC\ Driver\ for\ Salesforce MyDriverEdition/lib/cdata.jdbc.databricks.jar');
  4. PostgreSQL デーモンに認識されているユーザーのユーザー名とパスワードのユーザーマッピングを作成 CREATE USER MAPPING for postgres SERVER Databricks OPTIONS ( username 'admin', password 'test');
  5. ローカルデータベースに外部テーブルを作成 postgres=# CREATE FOREIGN TABLE customers ( customers_id text, customers_City text, customers_CompanyName numeric) SERVER Databricks OPTIONS ( table_name 'customers');
Databricks に対して 読み取り/書き込みコマンドを実行可能にする postgres=# SELECT * FROM customers;

おわりに

このようにCData JDBC Driver for Databricks を使って簡単にDatabricks のデータを取得して検索対象にすることができました。ぜひ、30日の無償評価版 をお試しください。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。