RazorSQL からSpark データに連携。

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData JDBC Driver for SparkSQL を使って、各種ツールからSpark データにアクセスすることが可能になります。本記事では、Spark データにRazorSQL のウィザードから連携利用する方法を紹介します。

Spark JDBC Data Source の設定

1. RazorSQL アプリケーションを開いて、Connections メニューから、Add Connection Profile -> Other -> JDBC にナビゲートします。
2. Connection Wizard で、以下を設定します：
   • Driver Location:JDBC Driver のインストールディレクトリのlib サブフォルダに設定します。
   • Driver Class: ドライバークラスを cdata.jdbc.sparksql.SparkSQLDriver に設定します。
   • Username:ユーザー名。（ユーザー名をブランクにして、JDBC URL 内で設定することも可能です。）
   • Password:パスワード。（ユーザー名をブランクにして、JDBC URL 内で設定することも可能です。）

   • JDBC URL:接続パラメータを入力します：jdbc:sparksql: から始まるJDBC URL を入力します。接続プロパティをカンマ区切りで書きます。

     SparkSQL への接続

     SparkSQL への接続を確立するには以下を指定します。

     • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
     • Port：SparkSQL インスタンスへの接続用のポートに設定。
     • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
     • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

     Databricks への接続

     Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

     • Server：Databricks クラスターのサーバーのホスト名に設定。
     • Port：443
     • TransportMode：HTTP
     • HTTPPath：Databricks クラスターのHTTP パスに設定。
     • UseSSL：True
     • AuthScheme：PLAIN
     • User：'token' に設定。
     • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

     一般的なURL ：:

     jdbc:sparksql:Server=127.0.0.1;

3. SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

Spark からテーブルを選択してクエリを実行

接続を確立後、Wizard が閉じ、接続はコネクションパネルで接続が利用可能になります。テーブルをクエリしてみます。