DbVisualizer でKafka データに連携しクエリを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ApacheKafka は、JDBC 標準に準拠し、BI ツールからIDE まで幅広いアプリケーションでKafka データへの接続を提供します。この記事では、DbVisualizer からKafka データに接続する方法、およびtable エディタを使ってKafka を編集、および保存する方法を説明します。

CData JDBC ドライバとは？

CData JDBC ドライバは、以下の特徴を持ったリアルタイムデータ接続ツールです。

1. Kafka をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
2. DBeaver を含む多様なアプリケーション、ツールにKafka データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData JDBC ドライバでは、1.データソースとしてKafka の接続を設定、2.DBeaver 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

Kafka データの新しいドライバー定義を作成

下記の手順に従い、Driver Manager を使ってDbVisualizer ツールからKafka データに接続します。

1. DbVisualizer で「Tools」->「Driver Manager」をクリックします。
2. 「」ボタンをクリックして新しくドライバーを作成します。
3. テンプレートは「Custom」を選択します。
4. Driver Settings タブで：
   • Name をわかりやすい名前に設定します（例：CData Kafka Driver）。
   • URL Format をjdbc:apachekafka: に設定します。
   • Driver artifacts and jar files (jars are loaded in order from top) セクションで：
     1. 「」ボタンをクリックして、「Add Files」に進みます。
     2. インストールディレクトリ（C:\Program Files\CData\CData JDBC Driver for Kafka XXXX\）の「lib」フォルダに移動します。
     3. JAR ファイル（cdata.jdbc.ApacheKafka.jar）を選択して「Open」をクリックします。
5. Driver Class は自動的に入力されます。もし入力されない場合は、クラス（cdata.jdbc.apachekafka.ApacheKafkaDriver）を選択してください。

JDBC データソースへの接続を定義

「Driver Manager」を終了し、下記の手順に従ってJDBC URL に接続プロパティを入力します。

1. 「Databases」タブで「」ボタンをクリックし、先ほど作成したドライバーを選択します。

2. 「Connection」セクションで以下のオプションを設定します。

   • Database Type：ウィザードオプションを選択した場合は、データベースの種類は自動検出されます。「No Wizard」オプションを選択した場合は、「Database Type」メニューから「Generic」または「Auto Detect」オプションを選択します。
   • Driver Type：先ほど作成したドライバーを選択します。

   • Database URL：完全なJDBC URL を入力します。JDBC URL 構文は、jdbc:apachekafka: に続けてセミコロン区切りでname-value ペアの接続プロパティを入力します。

     BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

     認可メカニズム

     • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
     • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
     • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
     • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

     サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

     組み込みの接続文字列デザイナー

     JDBC URL の作成の補助として、Kafka JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

     java -jar cdata.jdbc.apachekafka.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     JDBC URL を構成する際に、Max Rows 接続プロパティを設定することもできます。この設定は返される行数を制限するため、レポートやビジュアライゼーションを作成する際のパフォーマンスが向上します。

     一般的な接続文字列は次のとおりです。

     jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;
   • NOTE：Database Userid とDatabase Password は、それぞれKafka のUser プロパティとPassword プロパティに対応しています。
3. 「Connection」タブで「Connect」をクリックします。

Kafka JDBC Driver が表示するテーブルをブラウズするには、テーブルを右クリックして「Open In New Tab」をクリックします。

SQL クエリの実行には、SQL Commander ツールを使用します。「SQL Commander」->「New SQL Commander」をクリックします。利用可能なメニューから「Database Connection」、「Database」、「Schema」を選択します。

サポートされるSQL についての詳細は、ヘルプドキュメントの「サポートされるSQL」をご覧ください。テーブルに関する情報は「データモデル」をご覧ください。

おわりに