Jetty コネクションプールからSpark データに連携。

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for SparkSQL は、Java Web アプリケーションに簡単に統合して利用することができます。本記事では、Jetty でドライバーをコネクションプールとして設定することで、効率的にSpark データをアプリケーションで連携利用する方法を説明します。Jetty でJNDI resource for SparkSQL を設定します。

DBC Driver for SparkSQL を JNDI Data Source として設定

次の手順で、Jetty とSpark の接続を確立します。

1. Jetty ベースでJNDI モジュールを有効化します。JNDI を有効化するコマンドラインは以下の通り:

   java -jar ../start.jar --add-to-startd=jndi
2. JDBC Driver の.jar ファイルと.lic ファイル（インストールディレクトリのlib フォルダ下）をcontext path のlib フォルダに配置します。
3. リソースおよびスコープを宣言します。リソース宣言で必要な接続プロパティを入力します。この例では、Spark データソースをWeb アプリケーションのWEB-INF\jetty-env.xml レベルにdeclare しています。
   <Configure id='sparkdemo' class="org.eclipse.jetty.webapp.WebAppContext"> <New id="sparkdemo" class="org.eclipse.jetty.plus.jndi.Resource"> <Arg><Ref refid="sparkdemo"/></Arg> <Arg>jdbc/sparkdb</Arg> <Arg> <New class="cdata.jdbc.sparksql.SparkSQLDriver"> <Set name="url">jdbc:sparksql:</Set> <Set name="Server">127.0.0.1</Set> </New> </Arg> </New> </Configure>

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

4. Web xml でリソースを設定します:

   jdbc/sparkdb javax.sql.DataSource Container

5. これで、java:comp/env/jdbc/sparkdb へのルックアップでSpark データにアクセスできます: InitialContext ctx = new InitialContext(); DataSource myspark = (DataSource)ctx.lookup("java:comp/env/jdbc/sparkdb");

Jetty にさらに統合

ここでは、シンプルなコネクションプーリングシナリオでのドライバーの接続について説明しました。追加での連携ケースについては、Jetty ドキュメントのWorking with Jetty JNDI 　参照してください。