製品情報をご覧ください

製品情報や無償評価版を製品ページにてご確認いただけます。

製品ページへ

KNIME でSpark のJDBC ドライバーを有効にする

KNIME の標準データアクセスコンポーネントを使用してSpark でチャートとレポートを作成します。

CData JDBC Driver for Spark の強みの一つは、クロスプラットフォームのサポートであり、主要なBI ツールとの統合を可能にします。以下のステップに従って、KNIME のSpark にアクセスし、レポートデザイナを使用してSpark からチャートを作成します。

CData JDBC Driver for Spark を使用することで、JDBC データソースとしてSpark にアクセスでき、IDE の迅速な開発ツールとの統合が可能になります。この記事では、データソース構成ウィザードを使用してIntelliJ のSpark に接続する方法を示します。

※製品について詳しい情報をご希望の方は以下からお進みください。

Spark データへの新しいJDBC 接続を定義します。

  1. Report Designer 機能をインストールします。[File]->[Install KNIME Extensions]とクリックし、[Report]でフィルタリングします。
  2. 新しいワークフローで[File]->[Preferences]をクリックし、[KNIME]->[Databases]でノードを展開し cdata.jdbc.sparksql.jar を追加します。
  3. ドライバーJAR は、インストールディレクトリのlib サブフォルダにあります。
  4. [Node Repository]ビューで[Database]->[Read/Write]とノードを展開し、[Database Reader]をワークフローエディターにドラッグします。
  5. [Database Reader]をダブルクリックし、次のプロパティを設定します。

    • Database Driver:メニューでドライバーの名前(cdata.jdbc.sparksql.SparkSQLDriver)を選択します。
    • Database URL:接続プロパティを入力します。jdbc:sparksql: から始まり、その後にセミコロンで区切られた接続プロパティのリストが続くJDBC URL を入力します。

      SparkSQL への接続

      SparkSQL への接続を確立するには以下を指定します。

      • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
      • Port:SparkSQL インスタンスへの接続用のポートに設定。
      • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
      • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

      Databricks への接続

      Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:The needed values can be found in your Databricks instance by navigating to 'Clusters', selecting the desired cluster, and selecting the JDBC/ODBC tab under 'Advanced Options'.

      • Server:Set to the Server Hostname of your Databricks cluster.
      • Port:443
      • TransportMode:HTTP
      • HTTPPath:Set to the HTTP Path of your Databricks cluster.
      • UseSSL:True
      • AuthScheme:PLAIN
      • User:'token' に設定。
      • Password:Set to your personal access token (value can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab).

      ビルトイン接続文字列デザイナ

      JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

      java -jar cdata.jdbc.sparksql.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

      以下は一般的なJDBC URL です。

      jdbc:sparksql:Server=127.0.0.1;
    • User Name:認証に使用されるユーザー名
    • Password:認証に使用されるパスワード
    • SQL Statement:[SQL Statement]ボックスにSQL クエリを入力するか、テーブルをダブルクリックします。この記事では、チャートの作成に以下のクエリを用います。 SELECT City, Balance FROM Customers
  6. [Fetch Metadata]をクリックして接続を確認します。

  7. [Database Reader]を[Data to Report]ノードに接続し、データセットを様々なデータ可視化コントロールに提供します。[Execute]をクリックし、ワークフローの上部にある[Edit Report]をクリックしてレポートデザイナパースペクティブを開きます。
  8. ライブデータに基づいてレポートを作成できます。チャートを作成するには、チャートコントロールをパレットからレポートデザイナにドラッグします。表示されるウィザードでは、KNIME で使用可能なフィルタリングおよび集約コントロールを使用できます。

トラブルシューティング

次のリストは一般的なエラーを解決する方法を示しています。

  • [Row1]という重複するIdが見つかりました。:このエラーを解決するには、KNIME インストールディレクトリにあるknime.ini ファイルに-Dknime.database.fetchsize=0を追加します。
 
 
ダウンロード