各製品の資料を入手。
詳細はこちら →
製品をチェック
Exploratory でSpark のデータを連携する方法
ODBC 接続でExploratory からSpark のデータにSQL でクエリ
最終更新日：2022-11-26
この記事で実現できるSpark 連携のシナリオ
こんにちは！テクニカルディレクターの桑島です。
CData ODBC Driver for SparkSQL は、ODBC 経由でリアルタイムSpark データ に標準SQL での利用を可能にします。
ここでは、汎用ODBC データプロバイダーとしてSpark に接続し、データアナリティクスツールのExploratory (https://exploratory.io/) からSpark のデータを連携利用する手順を説明します。
Exploratory は、多くのRDB やRedshift、BigQuery などのクラウドデータストアに対応していますが、SaaS データを分析したい場合にはCData ODBC ドライバを使うことで、API コーディング不要でデータを活用できます。今回はSpark を例に説明します。
CData ODBC ドライバとは？
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
- Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
- 多様なアプリケーション、ツールにSpark のデータを連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.Exploratory 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData ODBC ドライバのインストールとSpark への接続設定
まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
次にマシンにSpark のデータ に接続するODBC DSN を設定します。Exploratory からはそのODBC DSN を参照する形になります。ODBC DSN 設定の詳細については、ドキュメントを参照してください。
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
Exploratory 上でSpark のデータをセット
- Exploratory で［コネクション］をクリックして新しいコネクションを作成します。
- ［追加］→［ODBC］の順にクリック。
- コネクション追加画面で先ほど設定したSpark ODBC のDSN を設定します。
名前：任意
タイプ：ODBC
DSN：上の設定したDSN 名（CData Spark Sys） - コネクションテストを下の地、［追加］を押して接続を確定させます。
Exploratory でSpark のデータをクエリし、データフレームとして保存
さあ、Exploratory からSpark のデータを扱ってみましょう。
- Exploratory でプロジェクトを［新規作成］します。
- ［データフレーム］の［+］印をクリックし、［データベースデータ］を選択します。
- データベースは［ODBC］をクリック。
- ［コネクション］で先ほど設定したSpark のコネクションを選択します。
- RDB ソースの感覚でSELECT クエリでSpark のデータをクエリします。標準SQL でフィルタリング、ソート、JOIN も可能です。
- データセットをデータフレームとして保存します。
Exploratory でのSpark のデータの分析
データフレームになったデータは通常のRDB データソースと同じようにExploratory で利用可能です。
おわりに
このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
関連コンテンツ
