Amazon S3 にCData Sync を使って、Twitter データを自動、反復、フレキシブルにレプリケーション。
常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。
CData Sync は、Amazon S3 インスタンスに直近のTwitter data を反復同期します。CData Sync で、アーカイブ、レポーティング、アナリティクス、機械学習、AI などで使えるよう、企業内の多様なデータを一か所に統合して管理することが可能になります。
Amazon S3 をレプリケーションの同期先に設定
CData Sync を使って、Amazon S3 にTwitter data をレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。
- ［同期先］タブをクリックします。
- Amazon S3 を同期先として選択します。
必要な接続プロパティを入力します。Amazon S3 に接続するには、Amazon S3 に接続するには、administraor アカウントもしくはカスタム権限のIAM ユーザーのクレデンシャルを設定します: AccessKey をkey IDに、SecretKey をsecret access key に設定します。
Note: AWS account administrator として接続できますが、IAM user クレデンシャルでAWS サービスに接続することが推奨されます。
IAM ユーザーのクレデンシャルの取得は以下の手順で行います:
- IAM コンソールにログインします。
- ナビゲーションペインでUsers を選択します。
- ユーザーのアクセスキーを作成もしくは管理するには、user を選択し、Security Credentials タブを選択します。
AWS ルートアカウントのクレデンシャルの取得は以下の手順で行います:
- ルートアカウントのクレデンシャルでAWS Management コンソールにログインします。
- アカウント名もしくは番号でMy Security Credentials を表示されるメニューで選択します。
- Continue to Security Credentials をクリックして、Access Keys セクションを開いてルートアカウントaccess key を作成もしくは管理します。
- ［接続のテスト］をクリックして、正しく接続できているかをテストします。
- ［変更を保存］をクリックします。
Twitter 接続の設定
データソース側にTwitter を設定します。［接続］タブをクリックします。
- ［接続の追加］セクションで［データソース］タブを選択します。
- Twitter アイコンをデータソースとして選択します。プリインストールされたソースにTwitter がない場合には、追加データソースとしてダウンロードします。
- 接続プロパティに入力をします。
すべてのテーブルには認証が必要です。OAuth を使用してTwitter で認証する必要があります。OAuth では認証するユーザーにブラウザでTwitter との通信を要求します。詳しくは、ヘルプドキュメントの「OAuth 認証の使用」を参照してください。
- ［接続のテスト］をクリックして、正しく接続できているかをテストします。
- ［変更を保存］をクリックします。
レプリケーションを実行するクエリの設定
Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。
テーブル全体をレプリケーションする
テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。
テーブルをカスタマイズしてレプリケーションする
レプリケーションはテーブル全体ではなく、カスタマイズが可能です。［変更］機能を使えば、レプリケーションするカラムの指定、同期先でのカラム名を変更しての保存、ソースデータの各種加工が可能です。レプリケーションのカスタマイズには、ジョブの［変更］ボタンをクリックしてカスタマイズウィンドウを開いて操作を行います。
レプリケーションのスケジュール起動設定
［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。
レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。Twitter data のAmazon S3 へのレプリケーションジョブは一つではなく複数を作成することが可能です。