各製品の資料を入手。
詳細はこちら →
製品をチェック
Exploratory でKafka のデータを連携する方法
ODBC 接続でExploratory からKafka のデータにSQL でクエリ
最終更新日：2022-11-26
この記事で実現できるKafka 連携のシナリオ
こんにちは！テクニカルディレクターの桑島です。
CData ODBC Driver for ApacheKafka は、ODBC 経由でリアルタイムKafka データ に標準SQL での利用を可能にします。
ここでは、汎用ODBC データプロバイダーとしてKafka に接続し、データアナリティクスツールのExploratory (https://exploratory.io/) からKafka のデータを連携利用する手順を説明します。
Exploratory は、多くのRDB やRedshift、BigQuery などのクラウドデータストアに対応していますが、SaaS データを分析したい場合にはCData ODBC ドライバを使うことで、API コーディング不要でデータを活用できます。今回はKafka を例に説明します。
CData ODBC ドライバとは？
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
- Kafka をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
- 多様なアプリケーション、ツールにKafka のデータを連携
- ノーコードでの手軽な接続設定
- 標準 SQL での柔軟なデータ読み込み・書き込み
CData ODBC ドライバでは、1.データソースとしてKafka の接続を設定、2.Exploratory 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
CData ODBC ドライバのインストールとKafka への接続設定
まずは、本記事右側のサイドバーからApacheKafka ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
次にマシンにKafka のデータ に接続するODBC DSN を設定します。Exploratory からはそのODBC DSN を参照する形になります。ODBC DSN 設定の詳細については、ドキュメントを参照してください。
Apache Kafka 接続プロパティの取得・設定方法
.NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。
Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。
デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：
- UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
- SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。
Apache Kafka への認証
Apache Kafka データソースは、次の認証メソッドをサポートしています：
- Anonymous
- Plain
- SCRAM ログインモジュール
- SSL クライアント証明書
- Kerberos
Anonymous
Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。
匿名認証を行うには、このプロパティを設定します。
- AuthScheme：None。
その他の認証方法については、ヘルプドキュメントを参照してください。
Exploratory 上でKafka のデータをセット
- Exploratory で［コネクション］をクリックして新しいコネクションを作成します。
- ［追加］→［ODBC］の順にクリック。
- コネクション追加画面で先ほど設定したKafka ODBC のDSN を設定します。
名前：任意
タイプ：ODBC
DSN：上の設定したDSN 名（CData Kafka Sys） - コネクションテストを下の地、［追加］を押して接続を確定させます。
Exploratory でKafka のデータをクエリし、データフレームとして保存
さあ、Exploratory からKafka のデータを扱ってみましょう。
- Exploratory でプロジェクトを［新規作成］します。
- ［データフレーム］の［+］印をクリックし、［データベースデータ］を選択します。
- データベースは［ODBC］をクリック。
- ［コネクション］で先ほど設定したKafka のコネクションを選択します。
- RDB ソースの感覚でSELECT クエリでKafka のデータをクエリします。標準SQL でフィルタリング、ソート、JOIN も可能です。
- データセットをデータフレームとして保存します。
Exploratory でのKafka のデータの分析
データフレームになったデータは通常のRDB データソースと同じようにExploratory で利用可能です。
おわりに
このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
関連コンテンツ
