製品をチェック

無償トライアル:

無償トライアルへ

製品の情報と無償トライアルへ:

Apache Kafka ODBC Driver

Apache Kafka ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからApache Kafka にデータ連携。

Apache Kafka データストリームにデータベースと同感覚でアクセスして、トピックに使い慣れたODBC インターフェースで双方向連携。

データ連携でお困りですか？

お問い合わせ

記事の内容

関連記事

MATLAB からKafka データをリアルタイムに連携利用


ODBC Driver 経由でノンプログラミングでKafka データをMATLAB にフィード

kafka ロゴ画像
odbc ロゴ画像

ODBC

MATLAB ロゴ画像


MathWorks 社のMATLAB は、高度なデータ解析、アルゴリズム開発、モデル作成などを手軽に実施できるツールとして多くの数学者、科学者、技術者に愛用されています。 本記事では、MATLAB からKafka データをノンコーディングで利用する方法を説明します。 Kafka データをMATLAB から利用できるように、CData ODBC Driver でKafka データをテーブルデータにモデル化して、MATLAB が生成する標準SQL でのフィルタリングやJOIN を利用できるようにしています。

CData ODBC Drivers のインストールとサービスへの接続設定

ODBC 接続プロパティの指定がまだの場合は、DSN （データソース名）で接続設定を行います。 Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。 ODBC ドライバーのインストール完了時にODBC DSN 設定画面が立ち上がります。 Microsoft ODBC データソースアドミニストレーターを開いて設定を行うことも可能です。 必要なプロパティを設定する方法は、ヘルプドキュメントの「はじめに」をご参照ください。

  • User
  • Password
  • BootStrapServers
  • Topic

Microsoft ODBC データソースアドミニストレーターで必要なプロパティを設定する方法は、ヘルプドキュメントの「はじめに」をご参照ください。

BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

認可メカニズム

  • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
  • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
  • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
  • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

MATLAB からのKafka ODBC データソースの利用方法

ODBC DSN の利用方法

「アプリ」⇒「Database Explorer」を選択します。
「New Query」をクリックして、データソース接続画面で、「Data Source」をドロップダウンすると、事前に設定したODBC DSN が表示されます。これらからKafka のものを選択します。Username、Password は入力不要です。

CData ODBC Driver により、データはスキーマの付いたテーブルデータにモデル化されており、左ペインの［データブラウザー］にRDB のように表示されます。 ここから利用するデータを選択すると、自動的にSELECT クエリが生成され、プレビューが実行されます。 MATLAB で生成されているSQL がODBC Driver 経由でParse されて、リアルタイムで元のデータソースのAPI を叩きに行っています。

Kafka データのフィルタリングやソートの利用

MATLAB では、SQL クエリが分からないユーザーでも、フィルタリング、ソートなどができるようなUI が用意されています。 フィルタリングであれば、「Where」、ソートであれば「Order By」のアイコンからSQL の知識なしに操作が可能です。「Join」も可能です。
CData ODBC Driver 経由でモデル化されたSaaS、NoSQL データにも、MATLAB のUI からのフィルタリングやソートが利用可能です。

「DATABASE EXPLORER」の「Where」アイコンをクリックします。 Column でフィルタリングする項目を選択、Operator で演算子を選択、Value にフィルタリングをする値を直接入力します。 「Add Filter」ボタンを押すと、フィルタリングのSQL が生成され、プレビューのデータがフィルタリングされます。 もし、フィルタリングを変更する場合には、変更して「Update Filter」をクリック。また複数のフィルタリングを設定することができます。

同様に、ソートを行うには、「Order By」アイコンを押し、並び替え項目を選択し、昇順・降順を指定するとSQL が生成されます。

データの整形が終わったら、データをData Explorer からMATLAB のワークスペースにインポートします。

このように、CData ODBC Drivers と併用することで、100を超えるSaaS、NoSQL データをRDB データのようにMATLAB からコーディングなしで扱うことができます。 CSV インポートと違い、リアルタイムODBC 連携なので、データソースをリフレッシュするだけで、繰り返し作業なく最新データへの更新も可能です。