Power Apps データフローを使ってKafka データをMicrosoft Dataverse に連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Power Apps はMicrosoft のローコードアプリ開発ツールです。Power Apps には、Power Apps 上で使えるデータベースライクなDataverse（旧CDS）というサービスがあるのですが、このサービスに連携するためのデータフローというデータインテグレーション機能が存在します。

Access やSharePoint リストを元に、Dataverse のエンティティ（テーブルのようなもの）を自動生成し、定期的にデータを同期させてくれるという便利な機能です！デフォルトでも30種類くらいのサービスに接続できるようになっているのですが、CData のPower BI Connectors と組み合わせればKafka を含む270種類以上のデータソースに接続できます。 ここでは、汎用ODBC データプロバイダーとしてKafka に接続し、Power Apps オンプレミスデータゲートウェイからKafka データを連携利用する手順を説明します。

Kafka データに接続するDSN を設定

まずは、右側のサイドバーからPower BI Connector for ApacheKafka をダウンロードします。30日間無料で全機能が利用できるので、お気軽にご利用ください。インストールが完了すると、以下のように接続設定画面が表示されるので、 DSN を設定します。 DSN 設定の詳細については、ドキュメントを参照してください。

Kafka DSN の設定方法

BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

認可メカニズム

• SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
• SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
• SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
• Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

オンプレミスデータゲートウェイで Kafka コネクタを認識させる

次にオンプレミスデータゲートウェイにインストールしたKafka コネクターを認識させます。もしデータゲートウェイのインストールがまだであれば、こちらのMS 公式ページからダウンロードできます。

• Power Apps の環境では、モデル駆動アプリで利用できるDataverse にデータを連携するので、Dataverse の環境を予め構成しておいてください。
• オンプレミスデータゲートウェイを立ち上げて「コネクタ」のタブに移動し、フォルダパスから「C:\Program Files\CData\CData Power BI Connector for ApacheKafka」を選択します。
• カスタムデータコネクタが識別されれば、設定完了です。

データフローの接続を構成する

それでは Power Apps の画面に移動して、データフローを作成してみましょう。

• Power Apps の画面から「データフロー」を選択し、「データフローを作成する」をクリックします。
• 任意の名称を入力し、「作成」をクリック
• データソース一覧の中から「ODBC」を選択します。
• 接続設定画面では、先程設定した接続情報を使うので接続文字列のところに「DSN=接続名称（今回の場合はDSN=CData PBI Kafka ）」と入力します。オンプレミスデータゲートウェイからは接続先のゲートウェイが表示されるので、それを選択。現在のPower Apps データフローの仕様上ODBC 接続では認証が必須のようなので、認証の種類として「Basic」を選択し、適当な文字列を入力しておきます（この文字列は使われないので、特に気にしなくて大丈夫です）。
• 次の画面に進むと、対象のテーブル・もしくはビュー選択画面に移動します。テーブルを選択すると、プレビューが表示され、正常にコネクターとゲートウェイ経由でKafka のデータが参照できていることがおわかりいただけると思います。テーブルを選択して、次へ進みます。
• クエリの編集画面では、特にカラムの変換など必要ない場合は、変更する必要はありません。そのまま次へ進んでも大丈夫です。
• 重要なエンティティマップです。ここで、Dataverse にエンティティを構成するための各種設定を実施します。今回は新しくエンティティを構成してしまうので、「新しいエンティティを読み込む」にチェックを入れます。デフォルトでは、対象フィールドのタイプが複数行テキストになってしまうので、これらを「テキスト」のタイプに変更し、最後にプライマリフィールドを選択テーブルへ設定すればOKです。
  また、もしデータの差分をDataverse 側に残しておきたい場合は、「クエリ出力に存在しない行を削除します」にチェックを入れておきましょう。
• 最後にデータの更新方法を選択します。せっかくなので、自動的に更新にしてみましょう。以下のように1時間ごとに更新というように設定しておけば、1時間毎に随時登録されたデータが吸い上げられ、最新のデータがDataverse 上に登録されていきます。
• 設定後、「作成」をクリックすると、エンティティの作成と初期のデータ同期が開始されます。「完了済み」になればOKです。
• データタブの「エンティティ」を選択すると、自動的に生成されたエンティティが一覧に含まれていることがわかります。

おわりに

このように、Power Apps から簡単にKafka データに接続して利用することができました。CData のPower BI Connector は、Kafka 以外にも270種類以上のデータソースに対応しています。30日間の無償トライアルがありますので、ぜひお試しください。