MicroStrategy でCData JDBC Driver を使ってKafka に接続

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

MicroStrategy は、データ主導のイノベーションを可能にする、モビリティプラットフォームです。MicroStrategy をCData JDBC Driver for ApacheKafka とペアリングすると、MicroStrategy からリアルタイムKafka へのデータベースのようなアクセスが得られ、レポート機能と分析機能が拡張されます。この記事では、MicroStrategy Developer でKafka のデータベースインスタンスを作成し、Kafka のWarehouse Catalog を作成します。

CData JDBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、MicroStrategy でリアルタイムKafka と対話するための圧倒的なパフォーマンスを提供します。MicroStrategy からKafka に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をKafka に直接プッシュし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブのMicroStrategy データタイプを使用してKafka を視覚化および分析できます。

MicroStrategy Developer のKafka に接続

CData JDBC Driver for ApacheKafka に基づくデータベースインスタンスを追加することにより、MicroStrategy Developer のKafka に接続できます。^* 開始する前に、MicroStrategy Developer のインスタンスが接続されているMicroStrategy Intelligence Server をホストとするマシンにJDBC Driver for ApacheKafka をインストールする必要があります。

1. MicroStrategy Developer を開き、［Project Source］を選択します。
2. ［Administration］->［Configuration Managers］->［Database Instances］と進み、右クリックして新しいインスタンスを追加します。
3. インスタンスに名前を付け、データベース接続タイプとしてGeneric DBMS を選択し、新しいデータベース接続を作成します。
4. データベース接続ウィザードで接続に名前を付け、新しいデータベースログイン名を作成してKafka のユーザーとパスワードを設定します。
5. 接続ウィザードの［Advanced］タブで、追加の接続文字列パラメータを以下のように設定します。
   • JDBC キーワードを接続文字列に追加します。
   • MSTR_JDBC_JAR_FOLDER をJDBC ドライバーのJAR ファイルを含むディレクトリのパスに設定します。(C:\Program Files\CData JDBC Driver for ApacheKafka\lib\ on Windows.)
   • DRIVER をドライバークラスであるcdata.jdbc.apachekafka.ApacheKafkaDriver に設定します。
   • URL をKafka ドライバーのJDBC URL に設定します。これには、必要な接続プロパティが含まれています。

     Apache Kafka 接続プロパティの取得・設定方法

     .NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。

     Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

     デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：

     1. UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
     2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

     Apache Kafka への認証

     Apache Kafka データソースは、次の認証メソッドをサポートしています：
     • Anonymous
     • Plain
     • SCRAM ログインモジュール
     • SSL クライアント証明書
     • Kerberos

     Anonymous

     Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。

     匿名認証を行うには、このプロパティを設定します。

     • AuthScheme：None。

     その他の認証方法については、ヘルプドキュメントを参照してください。

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.apachekafka.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     

     JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

   以下は、一般的な追加の接続文字列プロパティです。

   JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.apachekafka.ApacheKafkaDriver;URL={jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;};
6. ODBC データソースが選択されていないことを確認し、(これによりMicroStrategy がトリガーされ、追加の接続文字列パラメータを使用してデータベースインスタンスが構築されます)［OK］をクリックします。
7. ［OK］をクリックし、データベースインスタンスウィザードを閉じます。
8. ［Project Source］でプロジェクトを右クリックし、［Project configuration］を開きます。
9. ［Database Instances］に移動し、新しく作成したデータベースインスタンスを選択して［OK］をクリックします。
10. MicroStrategy Developerを閉じ、接続されたMicroStrategy Intelligence Server を再起動してデータベースインスタンスの作成を完了します。

データベースインスタンスを構成すると、Warehouse Catalog およびData Import からKafka に接続できるようになります。

Warehouse Catalog からKafka のデータに接続する

JDBC Driver for ApacheKafka に基づいてデータベースインスタンスを作成すると、Warehouse Catalog のデータに接続できます。

1. プロジェクトを選択し、［Schema］->［Warehouse Catalog］をクリックします。
2. ［Read Settings for the Catalog］で［Settings］をクリックし、スキーマを取得するためのクエリを設定します。
   • テーブルのリストを取得するには、以下のクエリを使用します。 SELECT * FROM SYS_TABLES
   • 選択したテーブルの例のリストを取得するには、以下のクエリを使用します。 SELECT DISTINCT CatalogName NAME_SPACE, TableName TAB_NAME, ColumnName COL_NAME, DataTypeName DATA_TYPE, Length DATA_LEN, NumericPrecision DATA_PREC, NumericScale DATA_SCALE FROM SYS_TABLECOLUMNS WHERE TableName IN (#TABLE_LIST#) ORDER BY 1,2,3
   
3. プロジェクトで使用するテーブルを選択します。

MicroStrategy のCData JDBC Driver for ApacheKafka を使用すると、Kafka で安定したビジュアライズとレポートを簡単に作成できます。詳細については、MictroStrategy でのKafka への接続やMicroStrategy Desktop でのKafka への接続 に関するほかの記事をお読みください。

NoteJDBC Driver を使用して接続するには、3層から4層のアーキテクチャが必要です。