MicroStrategy でCData JDBC Driver を使ってKafka に接続

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

MicroStrategy は、データ主導のイノベーションを可能にする、モビリティプラットフォームです。MicroStrategy をCData JDBC Driver for ApacheKafka とペアリングすると、MicroStrategy からリアルタイムKafka へのデータベースのようなアクセスが得られ、レポート機能と分析機能が拡張されます。この記事では、MicroStrategy Developer でKafka のデータベースインスタンスを作成し、Kafka のWarehouse Catalog を作成します。

CData JDBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、MicroStrategy でリアルタイムKafka と対話するための圧倒的なパフォーマンスを提供します。MicroStrategy からKafka に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をKafka に直接プッシュし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブのMicroStrategy データタイプを使用してKafka を視覚化および分析できます。

MicroStrategy Developer のKafka に接続

CData JDBC Driver for ApacheKafka に基づくデータベースインスタンスを追加することにより、MicroStrategy Developer のKafka に接続できます。^* 開始する前に、MicroStrategy Developer のインスタンスが接続されているMicroStrategy Intelligence Server をホストとするマシンにJDBC Driver for ApacheKafka をインストールする必要があります。

1. MicroStrategy Developer を開き、［Project Source］を選択します。
2. ［Administration］->［Configuration Managers］->［Database Instances］と進み、右クリックして新しいインスタンスを追加します。
3. インスタンスに名前を付け、データベース接続タイプとしてGeneric DBMS を選択し、新しいデータベース接続を作成します。
4. データベース接続ウィザードで接続に名前を付け、新しいデータベースログイン名を作成してKafka のユーザーとパスワードを設定します。
5. 接続ウィザードの［Advanced］タブで、追加の接続文字列パラメータを以下のように設定します。
   • JDBC キーワードを接続文字列に追加します。
   • MSTR_JDBC_JAR_FOLDER をJDBC ドライバーのJAR ファイルを含むディレクトリのパスに設定します。(C:\Program Files\CData JDBC Driver for ApacheKafka\lib\ on Windows.)
   • DRIVER をドライバークラスであるcdata.jdbc.apachekafka.ApacheKafkaDriver に設定します。
   • URL をKafka ドライバーのJDBC URL に設定します。これには、必要な接続プロパティが含まれています。

     BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

     認可メカニズム

     • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
     • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
     • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
     • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

     サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.apachekafka.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

   以下は、一般的な追加の接続文字列プロパティです。

   JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.apachekafka.ApacheKafkaDriver;URL={jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;};
6. ODBC データソースが選択されていないことを確認し、(これによりMicroStrategy がトリガーされ、追加の接続文字列パラメータを使用してデータベースインスタンスが構築されます)［OK］をクリックします。
7. ［OK］をクリックし、データベースインスタンスウィザードを閉じます。
8. ［Project Source］でプロジェクトを右クリックし、［Project configuration］を開きます。
9. ［Database Instances］に移動し、新しく作成したデータベースインスタンスを選択して［OK］をクリックします。
10. MicroStrategy Developerを閉じ、接続されたMicroStrategy Intelligence Server を再起動してデータベースインスタンスの作成を完了します。

データベースインスタンスを構成すると、Warehouse Catalog およびData Import からKafka に接続できるようになります。

Warehouse Catalog からKafka データに接続する

JDBC Driver for ApacheKafka に基づいてデータベースインスタンスを作成すると、Warehouse Catalog のデータに接続できます。

1. プロジェクトを選択し、［Schema］->［Warehouse Catalog］をクリックします。
2. ［Read Settings for the Catalog］で［Settings］をクリックし、スキーマを取得するためのクエリを設定します。
   • テーブルのリストを取得するには、以下のクエリを使用します。 SELECT * FROM SYS_TABLES
   • 選択したテーブルの例のリストを取得するには、以下のクエリを使用します。 SELECT DISTINCT CatalogName NAME_SPACE, TableName TAB_NAME, ColumnName COL_NAME, DataTypeName DATA_TYPE, Length DATA_LEN, NumericPrecision DATA_PREC, NumericScale DATA_SCALE FROM SYS_TABLECOLUMNS WHERE TableName IN (#TABLE_LIST#) ORDER BY 1,2,3
3. プロジェクトで使用するテーブルを選択します。

MicroStrategy のCData JDBC Driver for ApacheKafka を使用すると、Kafka で安定したビジュアライズとレポートを簡単に作成できます。詳細については、MictroStrategy でのKafka への接続やMicroStrategy Desktop でのKafka への接続 に関するほかの記事をお読みください。

NoteJDBC Driver を使用して接続するには、3層から4層のアーキテクチャが必要です。