各製品の資料を入手。
詳細はこちら →
製品をチェック
RapidMiner からSpark のデータに連携
Spark をRapidMiner Studio の標準コンポーネント及びデータソース構成ウィザードと統合します。
最終更新日：2022-10-29
この記事で実現できるSpark 連携のシナリオ
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
この記事では、CData JDBC Driver for SparkSQL をRapidMiner のプロセスと簡単に統合する方法を示します。この記事では、CData JDBC Driver for SparkSQL を使用してSpark をRapidMiner のプロセスに転送します。
RapidMiner のSpark にJDBC Data Source として接続する
以下のステップに従ってSpark へのJDBC 接続を確認できます。
- Spark 用の新しいデータベースドライバーを追加します。［Connections］->［Manage Database Drivers］とクリックします。
- 表示されるウィザードで［Add］ボタンをクリックし、接続に名前を入力します。
- JDBC URL のプレフィックスを入力します。
jdbc:sparksql: - インストールディレクトリのlib サブフォルダにあるcdata.jdbc.sparksql.jar ファイルにパスを入力して下さい。
- ドライバークラスを入力します。
cdata.jdbc.sparksql.SparkSQLDriver
- 新しいSpark 接続を作成します。［Connections］->［Manage Database Connections］とクリックします。
- 接続の名前を入力します。
- データベースシステムの場合は、以前構成したSpark ドライバーを選択します。
- Host ボックスで接続文字列を入力します。
SparkSQL への接続
SparkSQL への接続を確立するには以下を指定します。
- Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
- Port：SparkSQL インスタンスへの接続用のポートに設定。
- TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
- AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
Databricks への接続
Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。
- Server：Databricks クラスターのサーバーのホスト名に設定。
- Port：443
- TransportMode：HTTP
- HTTPPath：Databricks クラスターのHTTP パスに設定。
- UseSSL：True
- AuthScheme：PLAIN
- User：'token' に設定。
- Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。
ビルトイン接続文字列デザイナ
JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。
java -jar cdata.jdbc.sparksql.jar接続プロパティを入力し、接続文字列をクリップボードにコピーします。
以下は一般的な接続文字列です。
Server=127.0.0.1; - 必要であればユーザー名とパスワードを入力します。
プロセス内の様々なRapidMiner オペレーターとのSpark 接続を使用できます。Spark を取得するには、［Operators］ビューから［Retrieve］をドラッグします。
［Retrieve］オペレータを選択した状態で、［repository entry］の横にあるフォルダアイコンをクリックして［Parameters］ビューで取得するテーブルを定義できます。表示されるRepository ブラウザで接続ノードを展開し、目的のサンプルセットを選択できます。
最後に、［Retrieve］プロセスから結果に出力をワイヤリングし、プロセスを実行してSpark を確認します。
関連コンテンツ
