今すぐお試しください!

製品の詳細CData JDBC Driver for Apache Spark を確認して、無償評価版をダウンロード:

今すぐダウンロード

JRuby からSpark Data にデータ連携

リアルタイムSpark data に連携するシンプルなJRuby アプリケーションを作成します。

JRuby はRuby プログラミング言語の高性能で安定した、完全にスレッド化されたJava 実装です。CData JDBC Driver for Spark を使用すると、JRuby からリアルタイムSpark data へのデータ連携を簡単に実装できます。ここでは、Spark data に接続し、クエリを実行して結果を表示する簡単なJRuby アプリを作成する方法を説明します。

Spark Data にJDBC で接続

Before creating the app, note the installation location for the JAR file for the JDBC Driver (typically C:\Program Files\CDatat\CData JDBC Driver for Spark\lib).

JRuby natively supports JDBC, so you can easily connect to Spark and execute SQL queries.Initialize the JDBC connection with the getConnection function of the java.sql.DriverManager class.

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

  • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  • Port:SparkSQL インスタンスへの接続用のポートに設定。
  • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:The needed values can be found in your Databricks instance by navigating to 'Clusters', selecting the desired cluster, and selecting the JDBC/ODBC tab under 'Advanced Options'.

  • Server:Set to the Server Hostname of your Databricks cluster.
  • Port:443
  • TransportMode:HTTP
  • HTTPPath:Set to the HTTP Path of your Databricks cluster.
  • UseSSL:True
  • AuthScheme:PLAIN
  • User:'token' に設定。
  • Password:Set to your personal access token (value can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab).

ビルトイン接続文字列デザイナー

For assistance in constructing the JDBC URL, use the connection string designer built into the Spark JDBC Driver.Either double-click the JAR file or execute the jar file from the command-line.

java -jar cdata.jdbc.sparksql.jar

Fill in the connection properties and copy the connection string to the clipboard.

Below is a typical JDBC connection string for Spark:

jdbc:sparksql:Server=127.0.0.1;

Spark Data への接続性を持つJRuby アプリを作成

Create a new Ruby file (for example: SparkSQLSelect.rb) and open it in a text editor.Copy the following code into your file:

require 'java' require 'rubygems' require 'C:/Program Files/CData/CData JDBC Driver for Spark 2018/lib/cdata.jdbc.sparksql.jar' url = "jdbc:sparksql:Server=127.0.0.1;" conn = java.sql.DriverManager.getConnection(url) stmt = conn.createStatement rs = stmt.executeQuery("SELECT City, Balance FROM Customers") while (rs.next) do puts rs.getString(1) + ' ' + rs.getString(2) end

With the file completed, you are ready to display your Spark data with JRuby.To do so, simply run your file from the command line:

jruby -S SparkSQLSelect.rb

Writing SQL-92 queries to Spark allows you to quickly and easily incorporate Spark data into your own JRuby applications.Download a free trial today!

 
 
ダウンロード