KNIME でKafka のJDBC ドライバーを有効にする

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Kafka JDBC Driver

Apache Kafka データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



KNIME の標準データアクセスコンポーネントを使用してKafka でチャートとレポートを作成します。

CData JDBC Driver for Kafka の強みの一つは、クロスプラットフォームのサポートであり、主要なBI ツールとの統合を可能にします。以下のステップに従って、KNIME のKafka にアクセスし、レポートデザイナを使用してKafka からチャートを作成します。

CData JDBC Driver for Kafka を使用することで、JDBC データソースとしてKafka にアクセスでき、IDE の迅速な開発ツールとの統合が可能になります。この記事では、データソース構成ウィザードを使用してIntelliJ のKafka に接続する方法を示します。

※製品について詳しい情報をご希望の方は以下からお進みください。

Kafka データへの新しいJDBC 接続を定義します。

  1. Report Designer 機能をインストールします。[File]->[Install KNIME Extensions]とクリックし、[Report]でフィルタリングします。
  2. 新しいワークフローで[File]->[Preferences]をクリックし、[KNIME]->[Databases]でノードを展開し cdata.jdbc.apachekafka.jar を追加します。
  3. ドライバーJAR は、インストールディレクトリのlib サブフォルダにあります。
  4. [Node Repository]ビューで[Database]->[Read/Write]とノードを展開し、[Database Reader]をワークフローエディターにドラッグします。
  5. [Database Reader]をダブルクリックし、次のプロパティを設定します。

    • Database Driver:メニューでドライバーの名前(cdata.jdbc.apachekafka.ApacheKafkaDriver)を選択します。
    • Database URL:接続プロパティを入力します。jdbc:apachekafka: から始まり、その後にセミコロンで区切られた接続プロパティのリストが続くJDBC URL を入力します。

      BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

      認可メカニズム

      • SASL PlainUser およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
      • SASL SSLUser およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
      • SSLSSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
      • KerberosUser およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

      サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

      ビルトイン接続文字列デザイナ

      JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

      java -jar cdata.jdbc.apachekafka.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

      以下は一般的なJDBC URL です。

      jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;
    • User Name:認証に使用されるユーザー名
    • Password:認証に使用されるパスワード
    • SQL Statement:[SQL Statement]ボックスにSQL クエリを入力するか、テーブルをダブルクリックします。この記事では、チャートの作成に以下のクエリを用います。 SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = '100'
  6. [Fetch Metadata]をクリックして接続を確認します。

  7. [Database Reader]を[Data to Report]ノードに接続し、データセットを様々なデータ可視化コントロールに提供します。[Execute]をクリックし、ワークフローの上部にある[Edit Report]をクリックしてレポートデザイナパースペクティブを開きます。
  8. ライブデータに基づいてレポートを作成できます。チャートを作成するには、チャートコントロールをパレットからレポートデザイナにドラッグします。表示されるウィザードでは、KNIME で使用可能なフィルタリングおよび集約コントロールを使用できます。

トラブルシューティング

次のリストは一般的なエラーを解決する方法を示しています。

  • [Row1]という重複するIdが見つかりました。:このエラーを解決するには、KNIME インストールディレクトリにあるknime.ini ファイルに-Dknime.database.fetchsize=0を追加します。