Azure Data Lake Storage データを複数のデータベースにレプリケーション。

こんにちは！プロダクトスペシャリストの宮本です。

常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。CData Sync は、リアルタイムAzure Data Lake Storage データをミラーリングデータベース、上記稼働のクラウドデータベース、レポーティングサーバーなどのほかのデータベースに連携し、Windows からリモートAzure Data Lake Storage に接続し、自動的に同期を取ります。

レプリケーションの同期先の設定

CData Sync を使って、Azure Data Lake Storage をクラウド・オンプレにかかわらず複数のデータベースレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。

それぞれのデータベース向けに以下を行います：

1. ［同期先］タブをクリックします。
2. 同期先を選択します。この記事では、SQLite を使います。
3. 必要な接続プロパティを入力します。SQLite データベースにAzure Data Lake Storage をレプリケートするためにDataSource ボックスにファイルパスを入力します。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

Azure Data Lake Storage 接続の設定

データソース側にAzure Data Lake Storage を設定します。［接続］タブをクリックします。

1. ［同期先］タブをクリックします。
2. Azure Data Lake Storage アイコンをデータソースとして選択します。プリインストールされたソースにAzure Data Lake Storage がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

レプリケーションを実行するクエリの設定

CData Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

テーブルをカスタマイズしてレプリケーションする

次のステートメントは、Azure Data Lake Storage のテーブルのアップデートを差分更新でキャッシュします:

特定のデータベースを更新するために、レプリケーションクエリを含むファイルを指定することもできます。レプリケーションクエリをセミコロンで区切ります。複数のAzure Data Lake Storage アカウントを同じデータベースに同期しようとする際には、以下のオプションが便利です：

• REPLICATE SELECT ステートメントで別のprefix を使う：

  REPLICATE PROD_Resources SELECT * FROM Resources;

• 別の方法では、別のスキーマを使う：

  REPLICATE PROD.Resources SELECT * FROM Resources;

レプリケーションのスケジュール起動設定

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。Azure Data Lake Storage のオンプレミス、クラウドなどのデータベースへのレプリケーションジョブは一つではなく複数を作成することが可能です。