Amazon S3 へのElasticsearch データの自動反復レプリケーション

Amazon S3 にCData Sync を使って、Elasticsearch データを自動、反復、フレキシブルにレプリケーション。

常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。 CData Sync は、Amazon S3 インスタンスに直近のElasticsearch data を反復同期します。CData Sync で、アーカイブ、レポーティング、アナリティクス、機械学習、AI などで使えるよう、企業内の多様なデータを一か所に統合して管理することが可能になります。

Amazon S3 をレプリケーションの同期先に設定

CData Sync を使って、Amazon S3 にElasticsearch data をレプリケーションします。レプリケーションの同期先を追加するには、[接続]タブを開きます。

  1. [同期先]タブをクリックします。
  2. Amazon S3 を同期先として選択します。
  3. 必要な接続プロパティを入力します。Amazon S3 に接続するには、Amazon S3 に接続するには、administraor アカウントもしくはカスタム権限のIAM ユーザーのクレデンシャルを設定します: AccessKey をkey IDに、SecretKey をsecret access key に設定します。

    Note: AWS account administrator として接続できますが、IAM user クレデンシャルでAWS サービスに接続することが推奨されます。

    IAM ユーザーのクレデンシャルの取得は以下の手順で行います:

    1. IAM コンソールにログインします。
    2. ナビゲーションペインでUsers を選択します。
    3. ユーザーのアクセスキーを作成もしくは管理するには、user を選択し、Security Credentials タブを選択します。

    AWS ルートアカウントのクレデンシャルの取得は以下の手順で行います:

    1. ルートアカウントのクレデンシャルでAWS Management コンソールにログインします。
    2. アカウント名もしくは番号でMy Security Credentials を表示されるメニューで選択します。
    3. Continue to Security Credentials をクリックして、Access Keys セクションを開いてルートアカウントaccess key を作成もしくは管理します。

  4. [接続のテスト]をクリックして、正しく接続できているかをテストします。
  5. [変更を保存]をクリックします。

Elasticsearch 接続の設定

データソース側にElasticsearch を設定します。[接続]タブをクリックします。

  1. [接続の追加]セクションで[データソース]タブを選択します。
  2. Elasticsearch アイコンをデータソースとして選択します。プリインストールされたソースにElasticsearch がない場合には、追加データソースとしてダウンロードします。
  3. 接続プロパティに入力をします。

    Set the Server and Port connection properties to connect. To authenticate, set the User and Password properties, PKI (public key infrastructure) properties, or both. To use PKI, set the SSLClientCert, SSLClientCertType, SSLClientCertSubject, and SSLClientCertPassword properties.

    The data provider uses X-Pack Security for TLS/SSL and authentication. To connect over TLS/SSL, prefix the Server value with 'https://'. Note: TLS/SSL and client authentication must be enabled on X-Pack to use PKI.

    Once the data provider is connected, X-Pack will then perform user authentication and grant role permissions based on the realms you have configured.

  4. [接続のテスト]をクリックして、正しく接続できているかをテストします。
  5. [変更を保存]をクリックします。

レプリケーションを実行するクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、[ジョブ]タブに進み、[ジョブを追加]ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、[テーブル]セクションで[テーブルを追加]をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

テーブルをカスタマイズしてレプリケーションする

レプリケーションはテーブル全体ではなく、カスタマイズが可能です。[変更]機能を使えば、レプリケーションするカラムの指定、同期先でのカラム名を変更しての保存、ソースデータの各種加工が可能です。レプリケーションのカスタマイズには、ジョブの[変更]ボタンをクリックしてカスタマイズウィンドウを開いて操作を行います。

レプリケーションのスケジュール起動設定

[スケジュール]セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、[変更を保存]ボタンを押して保存します。Elasticsearch data のAmazon S3 へのレプリケーションジョブは一つではなく複数を作成することが可能です。

 
 
ダウンロード