リアルタイムAmazon S3 データをkrewData 経由でkintone にノーコードで同期

この記事では、Amazon S3 のObjectsACL データをkintone に同期する方法を紹介します。グレープシティ社のkrewData というkintone プラグインとCData Connect Cloud を使うと、Amazon S3 をはじめとする100を超えるSaaS データをノーコードでkintone に取り込むことが可能です。

krewData とは？

krewData は、グレープシティ社が提供するkintone のプラグインで、kintone の複数のアプリ間やExcel・CSV ファイルとkintone のデータ統合をkintone 上で行うことができます。

CData Connect Cloud とは？

CData Connect Cloud は、2022年にCData が新たにリリースしたデータ仮想化プラットフォームです。Salesforce、kintone、Sharepoint、ServiceNow、PCA クラウド、スマレジなど多様なSaaS データにあらゆるツールからノーコードでのアクセスを実現します

今回は、CData Connect Cloud とkrewData を使って、Amazon S3 のObjectsACL データをkintone に同期します。

ちなみに、CData Connect Cloud を使えば、Amazon S3 以外のクラウドデータをkintone に同期することも可能です。データ同士にキーとなる項目があれば、異なるデータソースのデータを統合してkintone にロードすることも可能です。

Connect Cloud からAmazon S3 に接続する

1. Connect Cloud にログインし、 Add Connection をクリックします。
2. Add Connection パネルから「Amazon S3」を選択します。
3. 必要な認証プロパティを入力し、Amazon S3 に接続します。

   Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。

   Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。

   尚、本製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。

   アクセスキーの取得

   IAM ユーザーの資格情報を取得するには：

   1. IAM コンソールにサインインします。
   2. ナビゲーションペインで「ユーザー」を選択します。
   3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択します。

   AWS ルートアカウントの資格情報を取得するには：

   1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインインします。
   2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択します。
   3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。

   AWS ロールとして認証

   多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、本製品は指定されたロールの資格情報を取得しようと試みます。

   （すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。

   SSO 認証

   SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、本製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。

4. Create & Test をクリックします。
5. Edit Amazon S3 Connection ページのPermissions タブに移動し、ユーザーベースのアクセス許可を更新します。

パーソナルアクセストークンの追加

OAuth 認証をサポートしていないサービス、アプリケーション、プラットフォーム、またはフレームワークから接続する場合は、認証に使用するパーソナルアクセストークン（PAT）を作成できます。きめ細かなアクセス管理を行うために、サービスごとに個別のPAT を作成するのがベストプラクティスです。

1. Connect Cloud アプリの右上にあるユーザー名をクリックし、User Profile をクリックします。
2. User Profile ページでPersonal Access Token セクションにスクロールし、 Create PAT をクリックします。
3. PAT の名前を入力して Create をクリックします。
4. パーソナルアクセストークンは作成時にしか表示されないため、必ずコピーして安全に保存してください。

コネクションが構成されたら、kintone 上のkrewData プラグインからAmazon S3 に接続できるようになります。

krewData でAmazon S3 データをkintone に同期する

ここからは、kintone のプラグインであるkrewData での設定になります。

krewData の設定

krewData のプラグインインストールとkintone での設定については、こちらのリンクを参照してください。

kintone にkrewData プラグインを入れ、必要な権限設定を行ってください。

krewData の入力としてAmazon S3 を設定

ここからは、実際にAmazon S3 をkintone にロードするフローを作成していきます。krewData 自体は、複数データソースの統合、データのフィルタリング、集計処理など多様な機能を有するETL ですが、今回はシンプルにAmazon S3 のObjectsACL データをkintone のアプリに同期するフローを作成します。

1. kintone 画面でアプリにkrewData が表示されているので、これをクリックします。
2. krewData アプリ画面の右上の「⚙」をクリックし、「設定」を開きます。
3. 「設定」タブからプラグインをクリックします。これでkrewData のプラグイン操作画面に来ました。
4. 「＋データ編集フローを作成」の文字をクリックしてフローを作成します。作成されたフローが表示されますので、「⚙」マークをクリックしてフローを編集します。
5. フロー編集画面が開きます。通常のkrewData フローは「入力アプリ」ではじまり、間にいくつかの処理モジュールを入れた後に「出力アプリ」で閉じる形です。CData Connect Cloud を使う場合には、一番下の「外部連携」の「CData Connect Cloud入力」モジュールを使います。
   「CData Connect Cloud入力」を左ペインからドラッグして、フローキャンバスにドロップします。そこからコマンド設定を行っていきます。「アプリを選択」をクリックします。
6. 「＋新しい外部サービス情報アプリを作成する」をクリックして、アプリ名を入力してアプリを作成します。こちらはkrewData の連携で使われるアプリですので、通常のkintone アプリを設定することはできません。OK をクリックします。
7. 同じ入力コマンドで「サインイン」をクリックして、CData Connect Cloud にkrewData からサインインします。アカウント選択画面がでるので、「別のアカウントを追加」ボタンをクリックします。CData Connect Cloud アカウント設定画面が表示されるので、Connect Cloud への接続を行います。
   CData Connect Cloud アカウント：Connect Cloud のユーザー名
   Personal Access Token：前述のPAT 取得プロセスで取得したアクセストークン
   OK を押してConnect cloud に接続します。
8. 次に「データソースを選択」ボタンをクリックします。まずどのConnection を使うかを選択するので、先ほど作成したAmazon S3 のConnection をドロップダウンから選択します。
9. Amazon S3 のどのオブジェクト（テーブル）を使うかを選択します。CData Connect Cloud がAmazon S3 のオブジェクト（含むカスタムオブジェクト）をフラットなテーブル構造にモデル化しています。今回はObjectsACL を選択します。OK を押してテーブル選択を保存します。
10. ここでAmazon S3 からkrewData に取得するデータの絞り込み条件をかけることができます。特にデータ量が多い場合には、パフォーマンスを上げるためにフィルタ条件をかけることをおすすめします。krewData のGUI でフィルタリング条件をかけるカラムを指定し、条件を設定することが可能です。
11. 最後にkrewData で使用するフィールドを選択します。
12. テーブル設定、フィルタリング設定、フィールド設定まで終わったら「プレビュー」タブをクリックして、実際に取得されるデータを見ることができます。

kintone へのアウトプットを設定

kintone への出力を行う設定を行います。

1. 「出力アプリ」を左ペインからドラッグしてフローキャンバスにドロップします。先ほどのCData Connect Cloud入力アプリと出力アプリを線でつなぎます。
2. 「アプリを選択」ボタンをクリックして、入力アプリと同様に新しいアプリを作成します。
3. 出力アプリの設定として、２回目以降の同期の際のデータの更新の方法をしていします。今回はUPSERT 設定で更新または追加にチェックをいれています。
4. 更新キーをしていできるので、ID カラムにチェックを入れて更新キーにします。
5. これで出力アプリの設定が完了したので、左上の「アプリを更新」をクリックしてフローを保存します。

Amazon S3 ObjectsACL のkintone への同期フローを実行

では、実際にフローを実行していきます。

まずはユーザー情報を指定する必要があります。左上の「設定ファイル」タブをクリックします。kintone のログイン名とパスワードを入力します。セキュアアクセスを使っている場合にはセキュアアクセス設定が必要です。

右上の「▶実行」ボタンをクリックして、フローを実行しましょう！！！
「成功」の表示がでました。

実際にkintone 上で出力アプリとして設定したアプリを開いてみます。ちゃんとAmazon S3 ObjectsACL 情報がkintone アプリのレコードとして同期されていました。

まとめ

いかがでしたか？このようにCData Connect Cloud とkrewData を使って、簡単にAmazon S3 のObjectsACL データをkintone にノーコードで同期することができました。

是非、CData Connect Cloud で他の100を超えるデータソースでもkintone への同期をお試しください。