Spark データをR で分析

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark ODBC Driver

Apache Spark ODBC Driver は、ODBC 接続をサポートするさまざまなアプリケーションからApache Spark データへの接続を実現するパワフルなツールです。

標準SQL とSpark SQL をマッピングして、SQL-92 で直接Apache Spark にアクセス。



データビジュアライゼーション、ハイパフォーマンスな統計関数を使ってSpark をMicrosoft R Open で分析。



Pure R スクリプトおよび 標準SQL を使ってSpark にアクセス。CData ODBC Driver for Spark とRODBC package を使って、R でリモートSpark を利用できます。CData Driver を使うことで、オープンソースでポピュラーなR 言語のデータにアクセスできます。この記事では、ドライバーを使ってSpark にSQL クエリを実行する方法、およびR でSpark をビジュアライズする方法について説明します。

R をインストール

マルチスレッドのMicrosoft R Open を実行すること、またはBLAS/LAPACK ライブラリにリンクされたオープンR を実行することによって、マルチスレッドおよびマネージドコードからドライバーのパフォーマンスにマッチできます。ここでは、Microsoft R Open 3.2.3 を使用します。CRAN レポジトリのJan. 1, 2016 snapshot からパッケージをインストールするために事前設定されています。このsnapshot は再現性を保証します。

Spark ODBC Data Source としてSpark に連携

接続プロパティの指定がまだの場合は、まずODBC DSN (データソース名)で接続設定を行います。これはドライバーのインストール時に自動的に立ち上がります。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

  • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  • Port:SparkSQL インスタンスへの接続用のポートに設定。
  • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

  • Server:Databricks クラスターのサーバーのホスト名に設定。
  • Port:443
  • TransportMode:HTTP
  • HTTPPath:Databricks クラスターのHTTP パスに設定。
  • UseSSL:True
  • AuthScheme:PLAIN
  • User:'token' に設定。
  • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

RODBC パッケージをロード

ドライバーを使うにはRODBC パッケージをダウンロードします。RStudio で[Tools]>[Install Packages]をクリックし、RODBC を[Packages]ボックスに入力します。

RODBC パッケージをインストールしたら、次のコードを入力してパッケージをロードします。

library(RODBC)

ODBC データソースとしてSpark データに連携

次のコードを使ってR のDSN に接続できます:

conn <- odbcConnect("CData Spark Source")

スキーマ検出

ドライバーはSpark API をリレーショナルデータベース、ビュー、ストアドプロシージャとしてモデル化します。次のコードを使ってテーブルリストを検出します。

sqlTables(conn)

SQL クエリの実行

sqlQuery 関数を使ってSpark API がサポートするすべてのSQL クエリを実行します。

customers <- sqlQuery(conn, "SELECT City, Balance FROM Customers", believeNRows=FALSE, rows_at_time=1)

次のコマンドを使って、結果を[data viewer]ウィンドウで見ることができます。

View(customers)

Spark データをプロット

これで、CRAN レポジトリで利用可能なあらゆるデータビジュアライゼーションパッケージを使ってSpark を分析できます。ビルトインのbar plot 関数を使って簡単なバーを作成できます:

par(las=2,ps=10,mar=c(5,15,4,2)) barplot(customers$Balance, main="Spark Customers", names.arg = customers$City, horiz=TRUE)