Coopel のシナリオで使えるAzure Data Lake Storage のデータ連携用のバックエンドAPI をノーコードで開発

こんにちは！リードエンジニアの杉本です。

CData API Server を使って、Coopel から Azure Data Lake Storage に接続、データを取得する方法を説明します。

API Server の設定

以下のリンクからAPI Server の無償トライアルをスタートしたら、セキュアなAzure Data Lake Storage OData サービスを作成していきましょう。

デプロイ

API Server は内蔵のJetty サーバー上で動作します。Windows をお使いの場合は、スタンドアロンサーバーとして起動するか、IIS に組み込んで使用することが可能です。また、お使いのJava サーブレットコンテナにAPI Server のWAR ファイルを配置して実行することもできます。具体的なセットアップ方法については、こちらのヘルプドキュメントをご覧ください。

Azure Data Lake Storage への接続

Salesforce Connect からAzure Data Lake Storage のデータを操作するには、まずAzure Data Lake Storage への接続を作成・設定します。

1. API Server にログインして、「Connections」をクリック、さらに「接続を追加」をクリックします。
2. 「接続を追加」をクリックして、データソースがAPI Server に事前にインストールされている場合は、一覧から「Azure Data Lake Storage」を選択します。
3. 事前にインストールされていない場合は、コネクタを追加していきます。コネクタ追加の手順は以下の記事にまとめてありますので、ご確認ください。
   CData コネクタの追加方法はこちら >>
4. それでは、Azure Data Lake Storage への接続設定を行っていきましょう！

5. Azure Data Lake Storage 接続プロパティの取得・設定方法

   Azure Data Lake Storage Gen 2 への接続

   Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

   • Account：ストレージアカウントの名前。
   • FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
   • Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

   Azure Data Lake Storage Gen 2 への認証

   本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

   アクセスキー

   アクセスキーを使用して接続するには、はじめにADLS Gen2 ストレージアカウントで利用可能なアクセスキーを取得する必要があります。

   Azure ポータルで：

   1. ADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定でアクセスキーを選択します。
   3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：AccessKey。
   • AccessKey：先にAzure ポータルで取得したアクセスキーの値。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

   接続の準備ができたら、次のプロパティを設定します。

   • AuthScheme：SAS。
   • SharedAccessSignature：先に生成した共有アクセス署名の値。

   AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

6. 接続情報の入力が完了したら、「保存およびテスト」をクリックします。

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen 2 への接続

Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

• Account：ストレージアカウントの名前。
• FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
• Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

Azure Data Lake Storage Gen 2 への認証

本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

アクセスキー

Azure ポータルで：

1. ADLS Gen2 ストレージアカウントにアクセスします。
2. 設定でアクセスキーを選択します。
3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

接続の準備ができたら、次のプロパティを設定します。

• AuthScheme：AccessKey。
• AccessKey：先にAzure ポータルで取得したアクセスキーの値。

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、次のプロパティを設定します。

• AuthScheme：SAS。
• SharedAccessSignature：先に生成した共有アクセス署名の値。

AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

API Server のユーザー設定

次に、API Server 経由でAzure Data Lake Storage にアクセスするユーザーを作成します。「Users」ページでユーザーを追加・設定できます。やってみましょう。

1. 「Users」ページで ユーザーを追加をクリックすると、「ユーザーを追加」ポップアップが開きます。
2. 次に、「ロール」、「ユーザー名」、「権限」プロパティを設定し、「ユーザーを追加」をクリックします。
3. その後、ユーザーの認証トークンが生成されます。各ユーザーの認証トークンとその他の情報は「Users」ページで確認できます。

Azure Data Lake Storage 用のAPI エンドポイントの作成

ユーザーを作成したら、Azure Data Lake Storage のデータ用のAPI エンドポイントを作成していきます。

1. まず、「API」ページに移動し、 「 テーブルを追加」をクリックします。
2. アクセスしたい接続を選択し、次へをクリックします。
3. 接続を選択した状態で、各テーブルを選択して確認をクリックすることでエンドポイントを作成します。

OData のエンドポイントを取得

以上でAzure Data Lake Storage への接続を設定してユーザーを作成し、API Server でAzure Data Lake Storage データのAPI を追加しました。これで、OData 形式のAzure Data Lake Storage データをREST API で利用できます。API Server の「API」ページから、API のエンドポイントを表示およびコピーできます。

オンプレミスDB やファイルからのAPI Server 使用（オプション）

オンプレミスRDB やExcel/CSV などのファイルのデータを使用する場合には、API Server のCloug Gateway / SSH ポートフォワーディングが便利です。是非、Cloud Gatway の設定方法 記事を参考にしてください。

Coopel でシナリオを作成する

CData API Server 側の準備が完了したら、早速Coopel 側でシナリオの作成を開始します。

1. まず、Coopel にログインし、必要に応じて新しいワークスペースを作成します。

2. ワークスペースを作成後、CData API Server にアクセスするための認証情報をCoopel 上に保存しましょう。「シナリオアカウント設定」→「新規追加」→「その他のサービス」を選択します。

3. ここで、CData API Server にアクセスするためのUserID とPassword を入力し、保存じます。Web サービス名には任意の名称を入力してください。

4. 次にメインとなるシナリオを作成します。「シナリオ作成」をクリックし

5. 任意の名称を入力します。

Azure Data Lake Storage のデータを取得する処理を作成

シナリオを作成したらAzure Data Lake Storage のデータを取得する処理の作成を進めましょう。

1. Coopel からAzure Data Lake Storage のデータを取得するためには、CData API Server を経由します。Coopelでは、ブラウザアクセスと同じような方法でCData API Server にアクセスするので、「URL にアクセス」のアクションを使って、データ取得を行います。Coopel のアクション一覧から「URL にアクセス」を配置し、先程検証した以下の「URL」および、「Basic 認証アカウント」に指定します。

2. 続いて、表示されたデータをCoopel 上で扱いやすい形にするためにテーブルデータとして取得を行います。Coopel アクションの一覧から「テーブルデータを取得」を配置し、先程作成した「URL にアクセス」をブラウザへ指定。テーブルの要素として「table」を指定します。

3. これで、Coopel 上でCData API Server 経由で取得したデータを操作する準備が整いました。あとはCoopel の様々なアクションを駆使して、フローを作成していきます。

ファイル出力処理を作成

データを取得する処理が作成できたら、そのデータをExcel ファイルに出力してみましょう。

1. 最初に「ファイルの新規作成」アクションを使って、Excel ファイルを作成します。任意の名称でファイル名とシート名を指定してください。

2. 次に「シートをシート名で指定」のアクションを配置して、先程作成したExcel ファイルのシートを参照します。

3. シートを開いたら、取得したデータを「セルにペースト」アクションで貼り付けます。事前に作成した「対象シート」と、CData API Server から取得した「テーブルデータ」を指定します。書き込み対象セルは一番左上のセルから入力するので「A1」を指定しました。

4. 最後に作成したExcelファイルを「ファイルを保存する」アクションで保存します。以上ですべてのシナリオが完成しました。

実行

それでは完成したシナリオを実行してみましょう。

1. Coopelでは画面右上の「実行」ボタンでシナリオを試すことができます。正常に実行されると、以下のように「ファイルを保存する」アクションのダイアログに生成されたExcelファイルが表示されます。

2. これをダウンロードして、Excel で開いてみると、以下のようにCData API Server 経由で取得したデータが入力されていることが確認できます。

まとめと30日の無償評価版のご案内

このように Azure Data Lake Storage 内のデータをCoopel で利用することができるようになります。CData API Server は、30日の無償評価版があります。是非、お試しいただき、Coopel からのデータ参照を体感ください。