Exploratory でSpark データを連携する方法

こんにちは！テクニカルディレクターの桑島です。

CData ODBC Driver for SparkSQL は、ODBC 経由でリアルタイムSpark データ に標準SQL での利用を可能にします。 ここでは、汎用ODBC データプロバイダーとしてSpark に接続し、データアナリティクスツールのExploratory (https://exploratory.io/) からSpark データを連携利用する手順を説明します。
Exploratory は、多くのRDB やRedshift、BigQuery などのクラウドデータストアに対応していますが、SaaS データを分析したい場合にはCData ODBC ドライバを使うことで、API コーディング不要でデータを活用できます。今回はSpark を例に説明します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにSpark データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.Exploratory 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

次にマシンにSpark データ に接続するODBC DSN を設定します。Exploratory からはそのODBC DSN を参照する形になります。ODBC DSN 設定の詳細については、ドキュメントを参照してください。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

• Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：SparkSQL インスタンスへの接続用のポートに設定。
• TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

• Server：Databricks クラスターのサーバーのホスト名に設定。
• Port：443
• TransportMode：HTTP
• HTTPPath：Databricks クラスターのHTTP パスに設定。
• UseSSL：True
• AuthScheme：PLAIN
• User：'token' に設定。
• Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

Exploratory 上でSpark のデータをセット

• Exploratory で［コネクション］をクリックして新しいコネクションを作成します。
• ［追加］→［ODBC］の順にクリック。
• コネクション追加画面で先ほど設定したSpark ODBC のDSN を設定します。
  名前：任意
  タイプ：ODBC
  DSN：上の設定したDSN 名（CData Spark Sys）
  
• コネクションテストを下の地、［追加］を押して接続を確定させます。

Exploratory でSpark データをクエリし、データフレームとして保存

さあ、Exploratory からSpark データを扱ってみましょう。

• Exploratory でプロジェクトを［新規作成］します。
• ［データフレーム］の［+］印をクリックし、［データベースデータ］を選択します。
• データベースは［ODBC］をクリック。
• ［コネクション］で先ほど設定したSpark のコネクションを選択します。
• RDB ソースの感覚でSELECT クエリでSpark データをクエリします。標準SQL でフィルタリング、ソート、JOIN も可能です。
• データセットをデータフレームとして保存します。

Exploratory でのSpark データの分析

データフレームになったデータは通常のRDB データソースと同じようにExploratory で利用可能です。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。