Azure Data Lake への Presto データの自動反復レプリケーション

常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。CData Sync は、Azure Data Lake に インスタンスに直近のPresto を反復同期します。CData Sync で、アーカイブ、レポーティング、アナリティクス、機械学習、AI などで使えるよう、企業内の多様なデータを一か所に統合して管理することが可能になります。

Azure Data Lake をレプリケーションの同期先に設定

CData Sync を使って、Azure Data Lake にPresto をレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。

1. ［同期先］タブをクリックします。
2. Azure Data Lake を同期先として選択します。

3. 必要な接続プロパティを入力します。Azure Data Lake Storage との接続には、以下のプロパティが必要です:

   Azure Data Lake Storage Gen1

   • Generation: 1 に設定。
   • Account: Azure Data Lake Store アカウント名。
   • Path: レプリケーションファイルの保存先のパス（デフォルトはルートディレクトリ）。
   • TenantId: tenant ID。
   • OAuthClientId: Azure Directory web application のApplication ID（詳細はSync のヘルプ参照）。
   • OAuthClientSecret: Azure Directory web application に認可されたキー（詳細はSync のヘルプ参照）。

   Azure Data Lake Storage Gen2

   • Generation: 2に設定。.
   • Access Key: 認証で使用するアクセスキー（詳細はSync のヘルプ参照）。
   • Account: Azure Data Lake Store アカウント名。
   • FileSystem: アカウントで使われているファイルシステム名。
   • Path: レプリケーションファイルの保存先のパス（デフォルトはルートディレクトリ）。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

Presto 接続の設定

データソース側にPresto を設定します。［接続］タブをクリックします。

1. ［接続の追加］セクションで［データソース］タブを選択します。
2. Presto アイコンをデータソースとして選択します。プリインストールされたソースにPresto がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   Presto への接続には、まずはServer およびPort を接続プロパティとして設定します。それ以外の追加項目は接続方式によって異なります。

   TLS/SSL を有効化するには、UseSSL をTRUE に設定します。

   LDAP で認証

   LDAP で認証するには、次の接続プロパティを設定します:

   • AuthScheme: LDAP に設定。
   • User: LDAP で接続するユーザー名。
   • Password: LDAP で接続するユーザーのパスワード。

   Kerberos 認証

   KERBEROS 認証を使う場合には、以下を設定します:

   • AuthScheme: KERBEROS に設定。
   • KerberosKDC: 接続するユーザーのKerberos Key Distribution Center (KDC) サービス。
   • KerberosRealm: 接続するユーザーのKerberos Realm 。
   • KerberosSPN: Kerberos Domain Controller のService Principal Name。
   • KerberosKeytabFile: Kerberos principals とencrypted keys を含むKeytab file。
   • User: Kerberos のユーザー。
   • Password: Kerberos で認証するユーザーのパスワード。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

レプリケーションを実行するクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

テーブルをカスタマイズしてレプリケーションする

レプリケーションはテーブル全体ではなく、カスタマイズが可能です。［変更］機能を使えば、レプリケーションするカラムの指定、同期先でのカラム名を変更しての保存、ソースデータの各種加工が可能です。レプリケーションのカスタマイズには、ジョブの［変更］ボタンをクリックしてカスタマイズウィンドウを開いて操作を行います。

レプリケーションのスケジュール起動設定

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。Presto のAzure Data Lake へのレプリケーションジョブは一つではなく複数を作成することが可能です。