Ready to get started?

Learn more about the CData JDBC Driver for Apache Spark or download a free trial:

Download Now

Apache SparkData のPostgreSQL インターフェース

Apache Spark JDBC Driver のRemoting 機能を使用して、データアクセス用のPostgreSQL エントリポイントを作成します。

インターネット上には利用可能な膨大な数のPostgreSQL クライアントがあります。標準のドライバーからBI および分析ツールまで、PostgreSQL はデータアクセスのための人気の高いインタフェースです。 JDBC ドライバーを使用して、標準クライアントから接続できるPostgreSQL エントリポイントを作成することができます。

PostgreSQL データベースとしてApache Spark data にアクセスするには、CData JDBC Driver for Apache Spark とJDBC 外部データラッパー(FDW)を使用します。ここでは、FDW をコンパイルしてインストールし、PostgreSQL サーバーからApache Spark data をクエリします。

JDBC データソースにApache Spark Data を設定

To connect to Apache Spark as a JDBC data source, you will need the following:

  • Driver JAR path: The JAR is located in the lib subfolder of the installation directory.
  • Driver class: cdata.jdbc.sparksql.SparkSQLDriver

  • JDBC URL: The URL must start with "jdbc:sparksql:" and can include any of the connection properties in name-value pairs separated with semicolons.

    Set the Server, Database, User, and Password connection properties to connect to SparkSQL.

    ビルトイン接続文字列デザイナー

    For assistance in constructing the JDBC URL, use the connection string designer built into the Apache Spark JDBC Driver.Either double-click the JAR file or execute the jar file from the command-line.

    java -jar cdata.jdbc.sparksql.jar

    Fill in the connection properties and copy the connection string to the clipboard.

    A typical JDBC URL is below:

    jdbc:sparksql:Server=127.0.0.1;

JDBC Foreign Data Wrapper をビルド

The Foreign Data Wrapper can be installed as an extension to PostgreSQL, without recompiling PostgreSQL.The jdbc2_fdw extension is used as an example.

  1. Add a symlink from the shared object for your version of the JRE to /usr/lib/libjvm.so.For example: ln -s /usr/lib/jvm/java-6-openjdk/jre/lib/amd64/server/libjvm.so /usr/lib/libjvm.so
  2. Start the build: make install USE_PGXS=1

Apache Spark Data をPostgreSQL データベースとしてクエリ

After you have installed the extension, follow the steps below to start executing queries to Apache Spark data:

  1. Log into your database.
  2. Load the extension for the database: CREATE EXTENSION jdbc2_fdw;
  3. Create a server object for Apache Spark: CREATE SERVER SparkSQL FOREIGN DATA WRAPPER jdbc2_fdw OPTIONS ( drivername 'cdata.jdbc.sparksql.SparkSQLDriver', url 'jdbc:sparksql:Server=127.0.0.1;', querytimeout '15', jarfile '/home/MyUser/CData/CData\ JDBC\ Driver\ for\ Salesforce MyDriverEdition/lib/cdata.jdbc.sparksql.jar');
  4. Create a user mapping for the username and password of a user known to the MySQL daemon. CREATE USER MAPPING for postgres SERVER SparkSQL OPTIONS ( username 'admin', password 'test');
  5. Create a foreign table in your local database: postgres=# CREATE FOREIGN TABLE customers ( customers_id text, customers_City text, customers_Balance numeric) SERVER SparkSQL OPTIONS ( table_name 'customers');
You can now execute read/write commands to Apache Spark: postgres=# SELECT * FROM customers;
 
 
ダウンロード