Apache Spark でMarkLogic Data をSQL で操作

Apache Spark は大規模データ処理のための高速で一般的なエンジンです。CData JDBC Driver for MarkLogic と組み合わせると、Spark はリアルタイムMarkLogic data にデータ連携して処理ができます。ここでは、Spark シェルに接続してMarkLogic data をクエリする方法について説明します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムMarkLogic data と対話するための高いパフォーマンスを提供します。MarkLogic に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接MarkLogic にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してMarkLogic data を操作して分析できます。

CData JDBC Driver for MarkLogic をインストール

CData JDBC Driver for MarkLogic インストーラをダウンロードし、パッケージを解凍し、JAR ファイルを実行してドライバーをインストールします。

Spark Shell を起動してMarkLogic Data に接続

1. Open a terminal and start the Spark shell with the CData JDBC Driver for MarkLogic JAR file as the jars parameter: $ spark-shell --jars /CData/CData JDBC Driver for MarkLogic/lib/cdata.jdbc.marklogic.jar
2. With the shell running, you can connect to MarkLogic with a JDBC URL and use the SQL Context load() function to read a table.

   Set User, Password, and Server to the credentials for the MarkLogic account and the address of the server you want to connect to. You should also specify the REST API Port if you want to use a specific instance of a REST Server.

   組み込みの接続文字列デザイナー

   For assistance in constructing the JDBC URL, use the connection string designer built into the MarkLogic JDBC Driver.Either double-click the JAR file or execute the jar file from the command-line.

   java -jar cdata.jdbc.marklogic.jar

   Fill in the connection properties and copy the connection string to the clipboard.

   scala> val marklogic_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:marklogic:User='myusername';Password='mypassword';Server='http://marklogic';").option("dbtable","Customer").option("driver","cdata.jdbc.marklogic.MarkLogicDriver").load()
3. Once you connect and the data is loaded you will see the table schema displayed.

4. Register the MarkLogic data as a temporary table:

   scala> marklogic_df.registerTable("customer")

5. Perform custom SQL queries against the Data using commands like the one below:

   scala> marklogic_df.sqlContext.sql("SELECT Name, TotalDue FROM Customer WHERE Id = 1").collect.foreach(println)

   You will see the results displayed in the console, similar to the following:

   

Using the CData JDBC Driver for MarkLogic in Apache Spark, you are able to perform fast and complex analytics on MarkLogic data, combining the power and utility of Spark with your data.Download a free, 30 day trial of any of the 170+ CData JDBC Drivers and get started today.