製品をチェック

Apache Spark ODBC Driver の30日間無償トライアルをダウンロード

 30日間の無償トライアルへ

製品の詳細

Apache Spark アイコン Apache Spark ODBC Driver 相談したい

Apache Spark ODBC Driver は、ODBC 接続をサポートするさまざまなアプリケーションからApache Spark データへの接続を実現するパワフルなツールです。

標準SQL とSpark SQL をマッピングして、SQL-92 で直接Apache Spark にアクセス。

CSA Data Uploader にてSpark データを、クラウドストレージにアップロード

Spark へのライブ接続を行うデータアップロードジョブを構築

古川えりか
コンテンツスペシャリスト

最終更新日:2022-03-15
spark ロゴ

CData

odbc ロゴ画像
CS Analtyics Data Uploader ロゴ

こんにちは!ドライバー周りのヘルプドキュメントを担当している古川です。

CData ODBC ドライバは、ODBC 標準インターフェースを利用したSpark へのリアルタイムデータアクセスを可能にし、使い慣れたSQL クエリで多種多様なBI、レポート、ETL ツールでSpark を扱うことができます 。

この記事では、Amazon S3 やGoogle Cloud Storage などのクラウドストレージへのデータプレパレーション、ファイルアップロードを得意とするCSA Data Uploader でODBC 接続を使用してSpark データの利用方法を示します。

CData ODBC ドライバとは?

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

  1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
  2. 多様なアプリケーション、ツールにSpark データを連携
  3. ノーコードでの手軽な接続設定
  4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.CSA Data Uploader 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

  1. まずODBN DSN に必要な接続プロパティの値を入力します。組み込みのMicrosoft ODBC データソースアドミニストレーターを使用してDSN を構成できます。これは、ドライバーのインストール時の最後のステップでも可能です。Microsoft ODBC データソースアドミニストレータを使用してDSN を作成および設定する方法については、ヘルプドキュメントの「はじめに」の章を参照してください。

    SparkSQL への接続

    SparkSQL への接続を確立するには以下を指定します。

    • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
    • Port:SparkSQL インスタンスへの接続用のポートに設定。
    • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
    • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

    Databricks への接続

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • Port:443
    • TransportMode:HTTP
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • UseSSL:True
    • AuthScheme:PLAIN
    • User:'token' に設定。
    • Password:パーソナルアクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

  2. DSN 設定 (Salesforce の場合)
  3. CSA Data Uploader を開いて「設定 -> ODBC」に移動します。
  4. ODBC 設定
  5. 「追加」をクリックします。
  6. ODBC の追加
  7. 種別を「汎用ODBC」、「データソース名」で先ほど作成したODBC DSN を選択します。
  8. ODBC 接続の構成

入力後、接続テストが成功すれば設定は完了です。併せて任意のデータアップロード先の接続(Amazon S3・Google Cloud Storage など)も作成しておきましょう。

Spark ジョブの構成

続いてCSA DataUploader の対象データ参照し、クラウドストレージへデータをアップロードするジョブを構成します。

  1. 「ジョブ」のページに移動して「ジョブを作成」をクリックします。
  2. ジョブを作成
  3. 任意の名称でジョブを作成します。ジョブ種別は「データアップロード」を選んでください。
  4. ジョブ名の設定
  5. ジョブは最初に入力対象となるデータを設定します。
  6. ジョブの入力設定の追加
  7. 入力種別では、ODBC 接続を選択し、データソース名で先ほど設定したODBC DSN を選択します。併せて、Spark からデータを取得するためのSQL ベースのクエリを記述します。
  8. 入力設定の構成
  9. なお、SQL でクエリ可能なテーブルはODBC DSN の「テーブル」タブで確認できます。
  10. ODBC DSN のテーブルタブ
  11. 入力設定を保存したら、「データ表示」ボタンをクリックすることで実際にSpark から取得したデータを確認できます。
  12. データの表示
  13. 以下のようにプレビューが表示されれば設定はOK です。
  14. プレビューの確認
  15. 併せて出力設定先となるクラウドストレージの情報を追加してください。
  16. 出力先設定の追加
  17. 事前に構成したコネクション情報で出力先を設定します。
  18. 出力先設定の追加
  19. これでジョブの作成は完了です。実行することで Spark データをクラウドストレージにアップロードすることができます。
  20. ジョブの確認

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。