JDBI からSpark Data のデータアクセスオブジェクトを作成

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark JDBC Driver

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。



JDBI でSpark data 用のSQL オブジェクトAPIを作成する方法を概説します。

JDBI は、Fluent スタイルとSQL オブジェクトスタイルという2つの異なるスタイルAPI を公開する、Java 用のSQL コンビニエンスライブラリです。CData JDBC Driver for Spark は、Java アプリケーションとリアルタイムSpark data のデータ連携を実現します。これらの技術を組み合わせることによって、Spark data へのシンプルなコードアクセスが可能になります。ここでは、基本的なDAO(Data Access Object )とそれに付随するSpark data の読み書きのためのコードの作成について説明します。

Spark Customers Entity のDAO を作成

以下のインターフェースは、実装されるSQL ステートメントごとに単一のメソッドを作成するためのSQL オブジェクトの正しい動作を宣言します。

public interface MyCustomersDAO { //request specific data from Spark (String type is used for simplicity) @SqlQuery("SELECT Balance FROM Customers WHERE Country = :country") String findBalanceByCountry(@Bind("country") String country); /* * close with no args is used to close the connection */ void close(); }

Spark への接続を開く

必要な接続プロパティを収集し、Spark に接続するための適切なJDBC URL を作成します。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

  • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  • Port:SparkSQL インスタンスへの接続用のポートに設定。
  • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

  • Server:Databricks クラスターのサーバーのホスト名に設定。
  • Port:443
  • TransportMode:HTTP
  • HTTPPath:Databricks クラスターのHTTP パスに設定。
  • UseSSL:True
  • AuthScheme:PLAIN
  • User:'token' に設定。
  • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

ビルトイン接続文字列デザイナー

JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

java -jar cdata.jdbc.sparksql.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Spark の接続文字列は、通常次のようになります。

jdbc:sparksql:Server=127.0.0.1;

構成済みのJDBC URL を使用して、DAO インターフェースのインスタンスを取得します。以下に示す特定のメソッドはインスタンスにバインドされたハンドルを開くため、ハンドルとバインドされたJDBC 接続を開放するには、インスタンスを明示的に閉じる必要があります。

DBI dbi = new DBI("jdbc:sparksql:Server=127.0.0.1;"); MyCustomersDAO dao = dbi.open(MyCustomersDAO.class); //do stuff with the DAO dao.close();

Spark Data について

Spark への接続を開いた状態で以前定義したメソッドを呼び出すだけで、Spark のCustomers エンティティからデータを取得できます。

//disply the result of our 'find' method String balance = dao.findBalanceByCountry("US"); System.out.println(balance);

JDBI ライブラリはJDBC 接続を処理できるため、CData JDBC Driver for Spark と統合することで、SQL Object API for Spark を簡単に作成できます。今すぐ無料トライアルをダウンロードし、Java アプリケーションでライブSpark を操作しましょう。