複数のAzure Data Lake Storage アカウントのレプリケーション

こんにちは！プロダクトスペシャリストの宮本です。

CData Sync は、いろいろなシナリオのデータレプリケーション（同期）を行うことができるスタンドアロンのアプリケーションです。例えば、sandbox および本番インスタンスのデータをデータベースに同期することができます。CData Sync のウェブインターフェースは複数のAzure Data Lake Storage コネクションを簡単に管理できます。本記事では、複数のAzure Data Lake Storage アカウントを一つのデータベースに同期する方法を説明します。

レプリケーションの同期先を設定

CData Sync では、Azure Data Lake Storage データ を何台のデータベースにでも複製できます。データベースはクラウドおよびオンプレミスの双方に対応しています。レプリケーションの同期先の設定には、［接続］タブから行います。

1. ［同期先］タブを選択します。
2. 同期先のアイコンをクリックします。本記事では、SQLite を使います。
3. 必要な接続プロパティを入力します。Azure Data Lake Storage をSQLite に複製するには、データソースボックスにファイルパスを指定します。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

Azure Data Lake Storage 接続の設定

データソース側にAzure Data Lake Storage を設定します。［接続］タブをクリックします。

1. ［接続の追加］セクションで［データソース］タブを選択します。
2. Azure Data Lake Storage アイコンをデータソースとして選択します。プリインストールされたソースにAzure Data Lake Storage がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

それぞれのAzure Data Lake Storage インスタンスのレプリケーションクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。.

テーブルをカスタマイズしてレプリケーションする

SQL クエリを使って、レプリケーションをカスタマイズできます。REPLICATE 構文はデータベースのテーブルにデータをキャッシュし、保存するハイレベルコマンドです。Azure Data Lake Storage API がサポートするSELECT クエリを定義することができます。レプリケーションのカスタマイズにはテーブルセクションで［カスタムクエリの追加］をクリックして、クエリステートメントを記述します。

Azure Data Lake Storage データ のテーブルを差分更新でキャッシュするステートメントは次のとおり:

使用するレプリケーションクエリを含むファイルを指定することで特定のデータベースを更新することが可能です。レプリケーションステートメントをセミコロンで区切ります。次のオプションは一つのデータベースに複数のAzure Data Lake Storage アカウントのデータを同期する例です:

• REPLICATE SELECT ステートメントで異なるtable prefix を使用する:

  REPLICATE PROD_Resources SELECT * FROM Resources;

• 別の方法として、異なるスキーマを使うことも可能です:

  REPLICATE PROD.Resources SELECT * FROM Resources;

レプリケーションのスケジュール起動

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］します。このように複数のAzure Data Lake Storage アカウントのデータを複製するジョブを作成することができました。