Kafka にリアルタイムでデータ連携するレポートをPower BI で作成

CData Power BI Connectors は、セルフサービスBI であるMicrosoft Power BI のデータソースを拡充します。CData Power BI Connector を使えば、Power BI のレポートからKafka データにリアルタイムで連携できます。 ダッシュボードでKafka データをモニタリングし、定期更新、またはリアルタイムでデータを更新することで、Kafka データをダッシュボードに反映できます。この記事では、Power BI Connector を使用してMicrosoft Power BI Desktop からKafka のビジュアライゼーションを作成する方法について詳しく説明します。

クラウドのPowerBI.com へのKafka レポートの発行（パブリッシュ）については、弊社のリアルタイムKafka データをPowerBI.com にパブリッシュ（発行）をご参照ください。

コラボラティブ処理とメタデータ検出

CData Power BI Connectors は、Power BI からKafka へのハイパフォーマンスなデータ操作を実現します。コネクタには、データ処理を効率化するコラボラティブクエリ処理機能やメタデータ検出機能が組み込まれています。Power BI からKafka に複雑なSQL クエリを発行する場合、コネクタはデータソースでサポートされているSQL オペレーション（フィルタリングや集計など）をKafka に直接流し、サポートされていないSQL オペレーション（JOIN など）をクライアントであるコネクタ側で処理します。また、動的メタデータ検出機能により、Kafka のテーブルやビューを検出するだけでなく、データ型を含めインポートするため、Power BI での分析が驚くほど簡単になります。

Power BI データソースとしてKafka を設定

CData Power BI Connector をインストールすると完了後にDSN 設定画面が開きます。ここでKafka への接続を設定します。

接続作業はWindows のODBC データソースアドミニストレータでも設定可能です。CData Power BI ApacheKafka を選択します。 Power BI のbit 数（32 bit or 64 bit）に合わせたアドミニストレータを使うように気を付けてください。DSN 設定画面で必要な項目を入力してKafka データに接続します。入力後に接続のテストを行い、OK を押して接続を確立します。

BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

認可メカニズム

• SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
• SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
• SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
• Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

Kafka テーブルをPower BI からクエリ

次の手順でKafka からデータをPower BI からクエリできるようにします:

1. Power BI Desktop を開き、［データ］->［データを取得］->［その他］-> CData ApacheKafka を選択して接続を押します。次にサードパーティドライバーのプロンプトが出る場合には、そのまま続行します。
2. CData Power BI ApacheKafka を［Data Source Name］欄に入力します。データ接続モードを選択します：
   インポート：データをプロジェクトにインポートする。オンデマンドで更新が可能。
   DirectQuery：リモートデータに直接アクセスする場合。
3. ナビゲーターダイアログで使用するテーブルを選択します。

4. ［データの変換］では、データをカスタマイズすることができます。クエリエディタを開いて、フィルタ、ソート、集計を設定できます。

   • カラムのデータ型の変更
   • カラムの削除
   • カラムのグルーピング

   Power BI は、コネクタが取得・検出したKafka のカラム毎のデータ型をそのまま使えます。

   Power BI は、データ変換を取得して、指定した条件でクエリを発行し、Kafka からデータを取得します。

   ［読み込み］をクリックすると、そのままのデータがコネクタ経由でPower BI にロードされます。

データビジュアライゼーションを作成

データをPower BI から取得したら、レポートビューで取得したKafka フィールドをドラッグ＆ドロップしてビジュアライゼーションを作成します。チャートの種類を可視化ペインから選択し、フィールドのカラムをドラッグして設定します。

チャートの右上をクリックしてソートオプションを変更することもできます。

チャートの部分のハイライトも可能です。

取得したデータのビジュアライズ上でのフィルタリングをフィルタリングペインで行うことができます。

［更新］をクリックするとその時点でのリアルタイムデータをKafka から取得してレポートに反映させることができます。

このように簡単にPower BI でKafka データをソースとするレポートが作成できました。CData Power BI Connector の30日の無償評価版を是非お試しください。