SaaS 連携データベース Yoom を使ってAzure Data Lake Storage データを使ったフローボットを作成する

こんにちは！リードエンジニアの杉本です。

Yoom は さまざまなSaaS とノーコードで連携し、業務を自動化するSaaS 連携データベースです。この記事では、CData Connect Server を経由して Yoom からAzure Data Lake Storage に接続し、Azure Data Lake Storage データを利用したフローボットを作成する方法を紹介します。

CData Connect Server は、Azure Data Lake Storage データのクラウド to クラウドの仮想OData インターフェースを提供し、Yoom からリアルタイムにAzure Data Lake Storage データへ接続することができます。

CData Connect Server の設定

Yoom でAzure Data Lake Storage Azure Data Lake Storage データをリアルタイムで操作するには、Connect Server からAzure Data Lake Storage に接続し、コネクションにユーザーアクセスを提供してAzure Data Lake Storage データのOData エンドポイントを作成する必要があります。

Azure Data Lake Storage データの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

1. Connect Server にログインし、「CONNECTIONS」をクリックします。
2. 一覧から「Azure Data Lake Storage」を選択します。
3. Azure Data Lake Storage に接続するために必要な認証プロパティを入力します。

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

4. 「 Test Connection」をクリックします。
5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Yoom を含むお好みのクライアントからAzure Data Lake Storage に接続できるようになります。

Yoom でフローボットを作成

Web API の準備が整ったので、Yoom にてフローボットの作成を進めていきます。

1. まず、Yoom にログインします。
2. フローボットを新規作成します。

ループ設定

フローボットのトリガー設定後、プロセスを作成します。まずはデータを複数行データベースに追加するため、ループ処理を設定します。ループを件数分実行するための一意のデータをAzure Data Lake Storage から取得します。

1. CData Connect Server コネクタを利用して、Azure Data Lake Storage データを取得します。＋ ボタンでプロセスを追加し、オペレーションタイプの選択から「アプリと連携する」を選択します。
2. アプリ一覧から「CData Connect」を選択します。
3. アカウント情報を登録します。アクセストークンに、Connect Server のアカウント（メールアドレス）とPAT をコロンで繋ぎ、Base64 エンコードしたものを設定します。
4. アクション選択では、「レコードの一覧を取得」を選択します。アクション設定画面では、Connect Server のOData で設定したテーブル名を設定します。アウトプットを追加し、データをリスト形式で取得する設定をします。JSONPath には「$.value[*].カラム名」を指定します。
5. データ取得設定を保存し、ループ処理（同じ処理を繰り返す）を追加します。

ループで利用したデータを元に他カラムのデータを取得

ループで利用した一意のデータをキーにして、Azure Data Lake Storage の他カラムのデータを取得します。

1. ループ分岐の右側のフローでアプリ連携のプロセスを追加し、「特定のレコードを取得」アクションを設定します。
2. プライマリーキーの値を設定します。「アウトプットを入力」から「ループ変数」を選択します。
3. アウトプットを設定します。入力形式はテキスト、JSONPath は「value[0].カラム名」を設定します。

Yoom データベースに追加

Yoom データベースに取得したデータを追加する処理を作成します。

1. オペレーションタイプの選択から「データベースを操作する」を選択し、データベース一覧からYoom データベースを選択します。
2. データベースとテーブルを指定し、実行アクションで「レコードを追加する」を選択します。
3. データ取得時に設定したアウトプットを、データベースのカラムに設定します。

フローボットの完成

Azure Data Lake Storage データをYoom データベースに追加するフローボットが完成しました。

1. フローボットを実行し、Yoom データベースにAzure Data Lake Storage データが追加されることを確認します。

このように、CData Connect Server を経由することで、API 側の複雑な仕様を意識せずにSaaS と連携したフローボットをYoom で作成できます。。他にも多くのデータソースに対応するCData Connect Server の詳細をこちらからご覧ください。