NetBeans IDE でSpark データに仮想RDB として連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark JDBC Driver

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。



データソース構成ウィザードを使ってNetBeans IDE でSpark に仮想DB として連携接続。



CData JDBC Driver for Spark は、JDBC をサポートするIDE にリアルタイムSpark データへの仮想DB 連携を実現します。JDBC 標準では、ビルトインのデータアクセスウィザードや、迅速な開発をサポートするその他のツールを使用できます。この記事では、NetBeans でSpark に接続する方法を説明します。接続を作成して[Table Editor]でSpark を編集および保存、 していきます。

NetBeans にSpark のJDBC データソースを作成

JDBC データソースを作成するには、[Service]ウィンドウの[Database]ノードを展開し、[Drivers]ノードを右クリックして[New Driver]を選択します。[New Driver]ウィザードが表示されたら、以下の情報を入力します:

  • Driver File(s):[Add]をクリックして、ファイルエクスプローラダイアログが表示されたらcdata.jdbc.sparksql.jar ファイルを選択。ドライバーのJAR はインストールディレクトリの[lib]サブフォルダ内にあります。
  • Driver Class:[Find]をクリックしてJAR 内のドライバークラスを検索し、cdata.jdbc.sparksql.SparkSQLDriver をメニューから選択。
  • Name:ドライバーの名前を入力。

接続パラメータを定義

下記の手順に従って、必要な接続プロパティを定義します:

  1. [Service]ウィンドウで、[Database]ノードを右クリックし[New Connection]をクリックします。

  2. [New Connection]ウィザードで次の接続プロパティを入力します:

    • Driver Name:CData JDBC Driver for Spark を選択。
    • User Name:ユーザーネームを入力。JDBC URL でも定義できます。
    • Password:パスワードを入力。JDBC URL でも定義できます。
    • JDBC URL:JDBC URL を指定。

      SparkSQL への接続

      SparkSQL への接続を確立するには以下を指定します。

      • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
      • Port:SparkSQL インスタンスへの接続用のポートに設定。
      • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
      • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

      Databricks への接続

      Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、[クラスター]に移動して目的のクラスターを選択し、 [Advanced Options]の下にある[JDBC/ODBC]タブを選択することで、Databricks インスタンスで見つけることができます。

      • Server:Databricks クラスターのサーバーのホスト名に設定。
      • Port:443
      • TransportMode:HTTP
      • HTTPPath:Databricks クラスターのHTTP パスに設定。
      • UseSSL:True
      • AuthScheme:PLAIN
      • User:'token' に設定。
      • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの[ユーザー設定]ページに移動して[アクセストークン]タブを選択することで取得できます)。

      以下は一般的なJDBC URL です:

      jdbc:sparksql:Server=127.0.0.1;

リアルタイムSpark データをクエリ

Spark に接続するには、[Database]ノードにある接続を右クリックし[Connect]をクリックします。接続が確立されたら、展開してスキーマ情報を見ることができます。

[Data Views]ウィンドウにテーブルをロードするには、テーブルを右クリックしてから[View Data]をクリックします。 [Data Views]ウィンドウではレコードの挿入、更新、および削除もできます。