NetBeans IDE でSpark データに仮想RDB として連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for SparkSQL は、JDBC をサポートするIDE にリアルタイムSpark データへの仮想DB 連携を実現します。JDBC 標準では、ビルトインのデータアクセスウィザードや、迅速な開発をサポートするその他のツールを使用できます。この記事では、NetBeans でSpark に接続する方法を説明します。接続を作成して［Table Editor］でSpark を編集および保存、 していきます。

NetBeans にSpark のJDBC データソースを作成

JDBC データソースを作成するには、［Service］ウィンドウの［Database］ノードを展開し、［Drivers］ノードを右クリックして［New Driver］を選択します。［New Driver］ウィザードが表示されたら、以下の情報を入力します：

• Driver File(s)：［Add］をクリックして、ファイルエクスプローラダイアログが表示されたらcdata.jdbc.sparksql.jar ファイルを選択。ドライバーのJAR はインストールディレクトリの［lib］サブフォルダ内にあります。
• Driver Class：［Find］をクリックしてJAR 内のドライバークラスを検索し、cdata.jdbc.sparksql.SparkSQLDriver をメニューから選択。
• Name：ドライバーの名前を入力。

接続パラメータを定義

下記の手順に従って、必要な接続プロパティを定義します：

1. ［Service］ウィンドウで、［Database］ノードを右クリックし［New Connection］をクリックします。

2. ［New Connection］ウィザードで次の接続プロパティを入力します：

   • Driver Name：CData JDBC Driver for SparkSQL を選択。
   • User Name：ユーザーネームを入力。JDBC URL でも定義できます。
   • Password：パスワードを入力。JDBC URL でも定義できます。

   • JDBC URL：JDBC URL を指定。

     SparkSQL への接続

     SparkSQL への接続を確立するには以下を指定します。

     • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
     • Port：SparkSQL インスタンスへの接続用のポートに設定。
     • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
     • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

     Databricks への接続

     Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

     • Server：Databricks クラスターのサーバーのホスト名に設定。
     • Port：443
     • TransportMode：HTTP
     • HTTPPath：Databricks クラスターのHTTP パスに設定。
     • UseSSL：True
     • AuthScheme：PLAIN
     • User：'token' に設定。
     • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
     以下は一般的なJDBC URL です：
     jdbc:sparksql:Server=127.0.0.1;

リアルタイムSpark データをクエリ

Spark に接続するには、［Database］ノードにある接続を右クリックし［Connect］をクリックします。接続が確立されたら、展開してスキーマ情報を見ることができます。

［Data Views］ウィンドウにテーブルをロードするには、テーブルを右クリックしてから［View Data］をクリックします。 ［Data Views］ウィンドウではレコードの挿入、更新、および削除もできます。