RapidMiner からSpark データに連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark JDBC Driver

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。



Spark をRapidMiner Studio の標準コンポーネント及びデータソース構成ウィザードと統合します。

この記事では、CData JDBC driver for Spark をRapidMiner のプロセスと簡単に統合する方法を示します。この記事では、CData JDBC driver for Spark を使用してSpark をRapidMiner のプロセスに転送します。

※製品について詳しい情報をご希望の方は以下からお進みください。

RapidMiner のSpark にJDBC Data Source として接続する

以下のステップに従ってSpark へのJDBC 接続を確認できます。

  1. Spark 用の新しいデータベースドライバーを追加します。[Connections]->[Manage Database Drivers]とクリックします。
  2. 表示されるウィザードで[Add]ボタンをクリックし、接続に名前を入力します。
  3. JDBC URL のプレフィックスを入力します。 jdbc:sparksql:
  4. インストールディレクトリのlib サブフォルダにあるcdata.jdbc.sparksql.jar ファイルにパスを入力して下さい。
  5. ドライバークラスを入力します。 cdata.jdbc.sparksql.SparkSQLDriver
  6. 新しいSpark 接続を作成します。[Connections]->[Manage Database Connections]とクリックします。
  7. 接続の名前を入力します。
  8. データベースシステムの場合は、以前構成したSpark ドライバーを選択します。
  9. Host ボックスで接続文字列を入力します。

    SparkSQL への接続

    SparkSQL への接続を確立するには以下を指定します。

    • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
    • Port:SparkSQL インスタンスへの接続用のポートに設定。
    • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
    • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

    Databricks への接続

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • Port:443
    • TransportMode:HTTP
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • UseSSL:True
    • AuthScheme:PLAIN
    • User:'token' に設定。
    • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

    ビルトイン接続文字列デザイナ

    JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

    java -jar cdata.jdbc.sparksql.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    以下は一般的な接続文字列です。

    Server=127.0.0.1;
  10. 必要であればユーザー名とパスワードを入力します。

プロセス内の様々なRapidMiner オペレーターとのSpark 接続を使用できます。Spark を取得するには、[Operators]ビューから[Retrieve]をドラッグします。 [Retrieve]オペレータを選択した状態で、[repository entry]の横にあるフォルダアイコンをクリックして[Parameters]ビューで取得するテーブルを定義できます。表示されるRepository ブラウザで接続ノードを展開し、目的のサンプルセットを選択できます。

最後に、[Retrieve]プロセスから結果に出力をワイヤリングし、プロセスを実行してSpark を確認します。