Power Apps データフローを使ってAzure Data Lake Storage データをMicrosoft Dataverse に連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Power Apps はMicrosoft のローコードアプリ開発ツールです。Power Apps には、Power Apps 上で使えるデータベースライクなDataverse（旧CDS）というサービスがあるのですが、このサービスに連携するためのデータフローというデータインテグレーション機能が存在します。

Access やSharePoint リストを元に、Dataverse のエンティティ（テーブルのようなもの）を自動生成し、定期的にデータを同期させてくれるという便利な機能です！デフォルトでも30種類くらいのサービスに接続できるようになっているのですが、CData のPower BI Connectors と組み合わせればAzure Data Lake Storage を含む270種類以上のデータソースに接続できます。 ここでは、汎用ODBC データプロバイダーとしてAzure Data Lake Storage に接続し、Power Apps オンプレミスデータゲートウェイからAzure Data Lake Storage データを連携利用する手順を説明します。

Azure Data Lake Storage データに接続するDSN を設定

まずは、右側のサイドバーからPower BI Connector for ADLS をダウンロードします。30日間無料で全機能が利用できるので、お気軽にご利用ください。インストールが完了すると、以下のように接続設定画面が表示されるので、 DSN を設定します。 DSN 設定の詳細については、ドキュメントを参照してください。

Azure Data Lake Storage DSN の設定方法

Azure DataLakeStorage 接続プロパティの取得・設定方法

Azure DataLakeStorage Gen 1 への接続

Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

• Schema：ADLSGen1 を指定。
• Account：アカウント名に設定。
• AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
• Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 1 への認証

Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

Azure DataLakeStorage Gen 2 への接続

Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

• Schema：ADLSGen2 に設定。
• Account：ストレージアカウント名に設定。
• FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
• Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 2 への認証

Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

アクセスキーを使用した認証

アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
2. 設定で「アクセスキー」を選択します。
3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

オンプレミスデータゲートウェイで Azure Data Lake Storage コネクタを認識させる

次にオンプレミスデータゲートウェイにインストールしたAzure Data Lake Storage コネクターを認識させます。もしデータゲートウェイのインストールがまだであれば、こちらのMS 公式ページからダウンロードできます。

• Power Apps の環境では、モデル駆動アプリで利用できるDataverse にデータを連携するので、Dataverse の環境を予め構成しておいてください。
• オンプレミスデータゲートウェイを立ち上げて「コネクタ」のタブに移動し、フォルダパスから「C:\Program Files\CData\CData Power BI Connector for ADLS」を選択します。
• カスタムデータコネクタが識別されれば、設定完了です。

データフローの接続を構成する

それでは Power Apps の画面に移動して、データフローを作成してみましょう。

• Power Apps の画面から「データフロー」を選択し、「データフローを作成する」をクリックします。
• 任意の名称を入力し、「作成」をクリック
• データソース一覧の中から「ODBC」を選択します。
• 接続設定画面では、先程設定した接続情報を使うので接続文字列のところに「DSN=接続名称（今回の場合はDSN=CData PBI Azure Data Lake Storage ）」と入力します。オンプレミスデータゲートウェイからは接続先のゲートウェイが表示されるので、それを選択。現在のPower Apps データフローの仕様上ODBC 接続では認証が必須のようなので、認証の種類として「Basic」を選択し、適当な文字列を入力しておきます（この文字列は使われないので、特に気にしなくて大丈夫です）。
• 次の画面に進むと、対象のテーブル・もしくはビュー選択画面に移動します。テーブルを選択すると、プレビューが表示され、正常にコネクターとゲートウェイ経由でAzure Data Lake Storage のデータが参照できていることがおわかりいただけると思います。テーブルを選択して、次へ進みます。
• クエリの編集画面では、特にカラムの変換など必要ない場合は、変更する必要はありません。そのまま次へ進んでも大丈夫です。
• 重要なエンティティマップです。ここで、Dataverse にエンティティを構成するための各種設定を実施します。今回は新しくエンティティを構成してしまうので、「新しいエンティティを読み込む」にチェックを入れます。デフォルトでは、対象フィールドのタイプが複数行テキストになってしまうので、これらを「テキスト」のタイプに変更し、最後にプライマリフィールドを選択テーブルへ設定すればOKです。
  また、もしデータの差分をDataverse 側に残しておきたい場合は、「クエリ出力に存在しない行を削除します」にチェックを入れておきましょう。
• 最後にデータの更新方法を選択します。せっかくなので、自動的に更新にしてみましょう。以下のように1時間ごとに更新というように設定しておけば、1時間毎に随時登録されたデータが吸い上げられ、最新のデータがDataverse 上に登録されていきます。
• 設定後、「作成」をクリックすると、エンティティの作成と初期のデータ同期が開始されます。「完了済み」になればOKです。
• データタブの「エンティティ」を選択すると、自動的に生成されたエンティティが一覧に含まれていることがわかります。

おわりに

このように、Power Apps から簡単にAzure Data Lake Storage データに接続して利用することができました。CData のPower BI Connector は、Azure Data Lake Storage 以外にも270種類以上のデータソースに対応しています。30日間の無償トライアルがありますので、ぜひお試しください。