リアルタイムAmazon Athena データをkrewData 経由でkintone にノーコードで同期

こんにちは！リードエンジニアの杉本です。

この記事では、Amazon Athena のCustomers データをkintone に同期する方法を紹介します。グレープシティ社のkrewData というkintone プラグインとCData Connect Cloud を使うと、Amazon Athena をはじめとする100を超えるSaaS データをノーコードでkintone に取り込むことが可能です。

CData Connect Cloud とは？

CData Connect Cloud は、以下のような特徴を持ったクラウド型のリアルタイムデータ連携製品です。

• SaaS やクラウドデータベースを中心とする150種類以上のデータソース
• BI、アナリティクス、ETL、ローコードツールなど30種類以上のツールやアプリケーションから利用可能
• リアルタイムのデータ接続に対応。データの複製を作る必要はありません
• ノーコードでシンプルな設定

詳しくは、こちらの製品資料をご確認ください。

krewData とは？

krewData は、グレープシティ社が提供するkintone のプラグインで、kintone の複数のアプリ間やExcel・CSV ファイルとkintone のデータ統合をkintone 上で行うことができます。

CData Connect Cloud とは？

CData Connect Cloud は、2022年にCData が新たにリリースしたデータ仮想化プラットフォームです。Salesforce、kintone、Sharepoint、ServiceNow、PCA クラウド、スマレジなど多様なSaaS データにあらゆるツールからノーコードでのアクセスを実現します

今回は、CData Connect Cloud とkrewData を使って、Amazon Athena のCustomers データをkintone に同期します。

ちなみに、CData Connect Cloud を使えば、Amazon Athena 以外のクラウドデータをkintone に同期することも可能です。データ同士にキーとなる項目があれば、異なるデータソースのデータを統合してkintone にロードすることも可能です。

Connect Cloud からAmazon Athena に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Amazon Athena」を選択します。
3. 必要な認証プロパティを入力し、Amazon Athena に接続します。

   Amazon Athena 接続プロパティの取得・設定方法

   Amazon Athena リクエストの認証には、アカウントの管理のクレデンシャルか、IAM ユーザーのカスタムPermission を設定します。 AccessKey にAccess Key Id、SecretKey にはSecret Access Key を設定します。

   AWS アカウントアドミニストレータとしてアクセスできる場合でも、AWS サービスへの接続にはIAM ユーザークレデンシャルを使用することが推奨されます。

   IAM ユーザーのクレデンシャル取得は以下のとおり：

   1. IAM コンソールにログイン。
   2. Navigation ペインで「ユーザー」を選択。
   3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択。

   AWS ルートアカウントのクレデンシャル取得は以下のとおり：

   1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインイン。
   2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択。
   3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成。

   EC2 インスタンスからの認証

   EC2 インスタンスからCData 製品を使用していて、そのインスタンスにIAM ロールが割り当てられている場合は、認証にIAM ロールを使用できます。 これを行うには、UseEC2Roles をtrue に設定しAccessKey とSecretKey を空のままにします。 CData 製品は自動的にIAM ロールの認証情報を取得し、それらを使って認証します。

   AWS ロールとして認証

   多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。 代わりにRoleARN を指定してAWS ロールを使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。 （すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、役割を担うIAM ユーザーのAccessKeyと SecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey およびSecretKey を指定する場合、 ロールは使用できません。

   MFA での認証

   多要素認証を必要とするユーザーおよびロールには、MFASerialNumber およびMFAToken 接続プロパティを指定してください。 これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでMFA 認証情報を送信します。一時的な認証情報の有効期間 （デフォルトは3600秒）は、TemporaryTokenDuration プロパティを介して制御できます。

   Amazon Athena への接続

   AccessKey とSecretKey プロパティに加え、Database、S3StagingDirectory、Region を設定します。Region をAmazon Athena データがホストされているリージョンに設定します。S3StagingDirectory をクエリの結果を格納したいS3内のフォルダに設定します。

   接続にDatabase が設定されていない場合は、CData 製品はAmazon Athena に設定されているデフォルトデータベースに接続します。

4. Create & Test をクリックします。
5. Edit Amazon Athena Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
2. User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

コネクションが構成されたら、kintone 上のkrewData プラグインからAmazon Athena に接続できるようになります。

krewData でAmazon Athena データをkintone に同期する

ここからは、kintone のプラグインであるkrewData での設定になります。

krewData の設定

krewData のプラグインインストールとkintone での設定については、こちらのリンクを参照してください。

kintone にkrewData プラグインを入れ、必要な権限設定を行ってください。

krewData の入力としてAmazon Athena を設定

ここからは、実際にAmazon Athena をkintone にロードするフローを作成していきます。krewData 自体は、複数データソースの統合、データのフィルタリング、集計処理など多様な機能を有するETL ですが、今回はシンプルにAmazon Athena のCustomers データをkintone のアプリに同期するフローを作成します。

1. kintone 画面でアプリにkrewData が表示されているので、これをクリックします。
2. krewData アプリ画面の右上の「⚙」をクリックし、「設定」を開きます。
3. 「設定」タブからプラグインをクリックします。これでkrewData のプラグイン操作画面に来ました。
4. 「＋データ編集フローを作成」の文字をクリックしてフローを作成します。作成されたフローが表示されますので、「⚙」マークをクリックしてフローを編集します。
5. フロー編集画面が開きます。通常のkrewData フローは「入力アプリ」ではじまり、間にいくつかの処理モジュールを入れた後に「出力アプリ」で閉じる形です。CData Connect Cloud を使う場合には、一番下の「外部連携」の「CData Connect Cloud入力」モジュールを使います。
   「CData Connect Cloud入力」を左ペインからドラッグして、フローキャンバスにドロップします。そこからコマンド設定を行っていきます。「アプリを選択」をクリックします。
6. 「＋新しい外部サービス情報アプリを作成する」をクリックして、アプリ名を入力してアプリを作成します。こちらはkrewData の連携で使われるアプリですので、通常のkintone アプリを設定することはできません。OK をクリックします。
7. 同じ入力コマンドで「サインイン」をクリックして、CData Connect Cloud にkrewData からサインインします。アカウント選択画面がでるので、「別のアカウントを追加」ボタンをクリックします。CData Connect Cloud アカウント設定画面が表示されるので、Connect Cloud への接続を行います。
   CData Connect Cloud アカウント：Connect Cloud のユーザー名
   Personal Access Token：前述のPAT 取得プロセスで取得したアクセストークン
   OK を押してConnect cloud に接続します。
8. 次に「データソースを選択」ボタンをクリックします。まずどのConnection を使うかを選択するので、先ほど作成したAmazon Athena のConnection をドロップダウンから選択します。
9. Amazon Athena のどのオブジェクト（テーブル）を使うかを選択します。CData Connect Cloud がAmazon Athena のオブジェクト（含むカスタムオブジェクト）をフラットなテーブル構造にモデル化しています。今回はCustomers を選択します。OK を押してテーブル選択を保存します。
10. ここでAmazon Athena からkrewData に取得するデータの絞り込み条件をかけることができます。特にデータ量が多い場合には、パフォーマンスを上げるためにフィルタ条件をかけることをおすすめします。krewData のGUI でフィルタリング条件をかけるカラムを指定し、条件を設定することが可能です。
11. 最後にkrewData で使用するフィールドを選択します。
12. テーブル設定、フィルタリング設定、フィールド設定まで終わったら「プレビュー」タブをクリックして、実際に取得されるデータを見ることができます。

kintone へのアウトプットを設定

kintone への出力を行う設定を行います。

1. 「出力アプリ」を左ペインからドラッグしてフローキャンバスにドロップします。先ほどのCData Connect Cloud入力アプリと出力アプリを線でつなぎます。
2. 「アプリを選択」ボタンをクリックして、入力アプリと同様に新しいアプリを作成します。
3. 出力アプリの設定として、２回目以降の同期の際のデータの更新の方法をしていします。今回はUPSERT 設定で更新または追加にチェックをいれています。
4. 更新キーをしていできるので、ID カラムにチェックを入れて更新キーにします。
5. これで出力アプリの設定が完了したので、左上の「アプリを更新」をクリックしてフローを保存します。

Amazon Athena Customers のkintone への同期フローを実行

では、実際にフローを実行していきます。

まずはユーザー情報を指定する必要があります。左上の「設定ファイル」タブをクリックします。kintone のログイン名とパスワードを入力します。セキュアアクセスを使っている場合にはセキュアアクセス設定が必要です。

右上の「▶実行」ボタンをクリックして、フローを実行しましょう！！！
「成功」の表示がでました。

実際にkintone 上で出力アプリとして設定したアプリを開いてみます。ちゃんとAmazon Athena Customers 情報がkintone アプリのレコードとして同期されていました。

まとめ

いかがでしたか？このようにCData Connect Cloud とkrewData を使って、簡単にAmazon Athena のCustomers データをkintone にノーコードで同期することができました。

是非、CData Connect Cloud で他の100を超えるデータソースでもkintone への同期をお試しください。