Azure Data Catalog データをPowerShell でMySQL にレプリケーションする方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData Cmdlets for AzureDataCatalog を使えば、PowerShell からAzure Data Catalog データ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for AzureDataCatalog およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でAzure Data Catalog への接続を行います。レプリケーションは4つのステップがあります。

Azure Data Catalog 接続プロパティの取得・設定方法

OAuth 認証で接続

Azure Data Catalog の認証にはOAuth を使用します。CData 製品では組込みOAuth が利用できるので、接続プロパティを設定することなく接続を試行するだけで、ブラウザ経由でAAS に認証できます。詳しい設定方法については、ヘルプドキュメントの「Azure Data Catalog への認証」セクションを参照してください。

設定は任意ですが、CatalogName プロパティを設定することでAzure Data Catalog から返されるカタログデータを明示的に指定できます。

CatalogName：Azure Data Catalog に紐づいているカタログ名に設定。空のままにすると、デフォルトのカタログが使用されます。カタログ名は、「Azure Portal」->「データカタログ」->「カタログ名」から取得できます。

Azure Data Catalog データの取得

1. モジュールのインストール:

   Install-Module AzureDataCatalogCmdlets

2. Azure Data Catalog への接続:

   $azuredatacatalog = Connect-AzureDataCatalog

3. 取得ターゲットのリソースの取得:

   $data = Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables"

   Invoke-AzureDataCatalog cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-AzureDataCatalog -Connection $azuredatacatalog -Query 'SELECT * FROM Tables WHERE Name = @Name' -Params @{'@Name'='FactProductInventory'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Azure Data Catalog データをMySQL データベースにレプリケーション

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. Azure Data Catalog、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Azure Data Catalog のリソース（Tables）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values }

次回以降のレプリケーションをシンプルに実現

• 一度PowerShell でAzure Data Catalog とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、Azure Data Catalog を別のデータベースに複製する場合、Select-AzureDataCatalog cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}

おわりに

これで、Azure Data Catalog データをMySQL に複製できました。分析、BI などでAzure Data Catalog データをMySQL から使うことができるようになります。