こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Power BI を使えば会社のデータを美しいビジュアルに変換して収集および整理することができるため、重要なことだけに集中できます。CData Connect Serverと組み合わせることで、ビジュアライゼーションやダッシュボードなどのためにKafka データを使用できます。この記事では、CData Connect Server を使用してKafka のOData フィードを生成し、Kafka データをPower BI にインポートして、Kafka データを使ったレポートをPower BI サービスで作成する方法について説明します。
注意:Connect Server のオンプレミスデータゲートウェイとSQL インターフェースを使って(データをインポートする代わりに)リアルタイムでKafka データに接続することもできます。詳細については、関連するKnowledge Base の記事を参照してください。
Kafka データの仮想SQL データベースを作成
CData Connect Server は、簡単なポイントアンドクリックインターフェースを使用してAPI を生成します。
- Connect Server にログインし、「Databases」をクリックします。
- 「Available Data Sources」から「Kafka」を選択します。
-
必要な認証プロパティを入力し、Kafka に接続します。
BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。
認可メカニズム
- SASL Plain:User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
- SASL SSL:User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram'
に、UseSSL はtrue に設定します。
- SSL:SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
- Kerberos:User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。
サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。
- 「 Test Database」をクリックします。
- 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー)を追加します。
Power BI からConnect Server に接続
Power BI サービスにKafka データをインポートしてビジュアライズするには、Connect Server API ユーザーを追加してConnect Server にKafka OData エンドポイントを追加し、Power BI Desktop からサービスにデータセットを作成して公開します。
Connect Server ユーザーの追加
Power BI からConnect Server を介してKafka に接続するユーザーを作成します。
- [Users]->[ Add]とクリックします。
- ユーザーを構成します。
- [Save Changes]をクリックして新しいユーザーの認証トークンをメモします。
- 「Database」をクリックし、Kafka 仮想データベースを選択します。
- 「Permission」タブで、新規作成した(少なくともSELECT 権限を持つ)ユーザーを追加して「Save Changes」をクリックします。
Connect Server にKafka OData エンドポイントを追加
Kafka に接続したら、目的のテーブルのOData エンドポイントを作成します。
- [OData]->[Tables]->[Add Tables]とクリックします。
- Kafka データベースを選択します。
- 使用するテーブルを選択し、[Next]をクリックします。
- (オプション)テーブルの定義を編集して特定のフィールドなどを選択します。
- 設定を保存します。
Power BI デスクトップからデータセットを公開
Connect Server にOData エンドポイントを追加すると、OData 接続を使用してPower BI デスクトップにデータセットを作成し、そのデータセットをPower BI サービスに公開できます。
- Power BIを開いて「Get Data」->「More」とクリックし、OData フィードを選択して「Connect」をクリックします。
- URL をConnect Server インスタンスのBase URL(例: CONNECT_SERVER_URL/api.rsc)に設定し、「OK」をクリックします。
- User name とPassword を上記のユーザー名と認証トークンに設定します。
- 設定を適用するレベルとして、フルのBase URL(CONNECT_SERVER_URL/api.rsc)を選択します。
- 「Navigator」ダイアログでテーブルを選択し、ビジュアライズします。
- 「Load」をクリックしてPower BI にデータをプルします。
- 「Relationships」タブで選択したエンティティ間の関係性を定義します。
- 「Home」メニューから「Publish」をクリックして「Workspace」を選択します。
Power BI Service のKafka データでレポートとダッシュボードを作成
Power BI サービスにデータセットを公開したので、公開されたデータを使って新しいレポートとダッシュボードを作成できます。
- PowerBI.com にログインします。
- 「Workspaces」をクリックし、ワークスペースを選択します。
- 「Create」をクリックし、「Report」を選択します。
- レポートに使用する公開済みデータセットを選択します。
- フィールドとビジュアライゼーションを選択してレポートを追加します。
アプリケーションからKafka データへSQL でアクセス
Power BI サービスからリアルタイムKafka データへの直接接続ができるようになりました。これで、Kafka を複製することなく多くのデータソースや新しいビジュアライゼーション、レポートを作成することができます。
アプリケーションから直接240+ SaaS 、Big Data 、NoSQL ソースへのSQL データアクセスを取得するには、CData Connect Server を参照してください。