CData Connect Cloud を経由してPower BI Service でKafka データをリアルタイムでビジュアライズ

Power BI を使えば、データを美しいビジュアルに可視化したり、重要な情報を整理してダッシュボード化できます。CData Connect Cloud と組み合わせると、ビジュアライゼーションやダッシュボードでの使用のためにKafka データにアクセスできます。この記事では、CData Connect を使用してKafka のリアルタイム接続を作成し、Kafka データをPower BI に接続してKafka データに関するレポートをPower BI で作成する方法を説明します。

Connect Cloud からKafka に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Kafka」を選択します。
3. 必要な認証プロパティを入力し、Kafka に接続します。

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

4. Create & Test をクリックします。
5. Edit Kafka Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

接続が構成されたら、Power BI からKafka に接続できるようになります。

Connect Cloud Power BI コネクタをインストールする

バージョン: 2.112.603.0 (2022年12月)以降のバージョンのPower BI Desktop では、すでにCData Connect Cloud 用のMicrosoft 認定コネクタがPower BI Desktop に含まれています。Power BI Desktop で最初のデータセット設定が必要です。従来まではPower BI Desktop からデータソースの更新毎にデータセットを手動でパブリッシュもしくはオンプレミスGateway での定期リフレッシュが必要でした。今回のPower BI 提供のCData Connect 向けコネクタでは、一度Power BI Desktop からデータセットをパブリッシュした後のデータ更新はPower BI サービス（クラウド）上で実施できる点がポイントです！　では、「データを取得」から「オンラインサービス」カテゴリを選び、「CData Connect Cloud」を選択します。

それより前のPower BI Desktop をご利用の場合には、CData Connect Cloud Power BI コネクタ をダウンロードしインストールします。インストールが完了すると、CData Connect Cloud を経由してPower BI のデータに接続できるようになります。

Kafka テーブルをクエリ

以下のステップに従って、Kafka データをレポートにプルするクエリを作成します。

「Power BI Desktop」を開いて「Get Data」->「Online Services」->「CData Connect Cloud」と進み、「Connect」をクリックします。 「Sign-in」をクリックしCData Connect Cloud のアカウントで認証します。
1. サインイン後「Connect」をクリックします。
2. 「Navigator」ダイアログでテーブルを選択します。
3. 「Load」をクリックしPower BI からKafka データの接続を確立します。

Kafka データをビジュアライゼーションを作成する

Power BI にデータを接続した後、「Fields」ペインのフィールドをキャンバスにドラッグすることで、「Report」ビューでデータビジュアライゼーションを作成できます。チャートタイプと、ビジュアライズするディメンションとメジャーを選択します。

Power BI サービス（クラウド）から最新のKafka データに更新

ここからが2022年12月以降の認定コネクタの最大のキモになります。発行したPower BI サービスで使用できるKafka データを使ったレポートのデータをPower BI 側から最新のデータに更新が可能です。まずは右上のメニュー から「データセットの表示」をクリックします。

まずは、データソースであるCData Connect Cloud にアクセスする資格を設定する必要がありますので、「ファイル」→「設定」をクリックします。レポートで使用しているデータセットをワークスペースから選択し、「データソースの資格情報」を開き、「資格情報を編集」の文字をクリックします。

クリックすると再度CData Connect Cloud へのサインインを求められます。

1. 認証方法：OAuth2 を選択
2. このデータソースのプライバシーレベルの設定：適切なレベルを設定

「サインイン」ボタンをクリックして、CData Connect Cloud のユーザー名とパスワードでサインインします。

これで、Power BI サービスからConnect Cloud 経由でKafka データソースを最新の状態に更新することができます。「更新」→「今すぐ更新」をクリックするとデータを更新できます。このように簡単にPower BI サービス（クラウド）側から外部データソースであるKafka のデータをリアルタイムで更新して分析利用することができました。

データアプリケーションからKafka データへのリアルタイムアクセス

CData Connect Cloud を使用してPower BI からKafka データへの直接接続ができるようになりました。これで、Kafka を複製せずにより多くのデータをインポート、新しいビジュアライゼーションやレポートを作成することができます。

オンプレミスのBI やレポート、ETL、その他のデータアプリケーションから、240を超えるSaaS、ビッグデータ、NoSQL ソース（Kafka を含む）への直接のSQL データアクセスを取得するには、CData Connect ページにアクセスして無償トライアルを開始できます。