本記事では CData サポート担当からこんなことを聞かれたらどこを確認すべきか?という観点で、よく頂くお問合せ内容をご紹介します。
記事はこちら →CData Cmdlets for AzureDataCatalog をつかって、PowerShell からリアルタイムAzure Data Catalog data に連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for AzureDataCatalog およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。
まずは、PowerShell でAzure Data Catalog への接続を行います。レプリケーションは4つのステップがあります。
You can optionally set the following to read the different catalog data returned from Azure Data Catalog.
You must use OAuth to authenticate with Azure Data Catalog. OAuth requires the authenticating user to interact with Azure Data Catalog using the browser. For more information, refer to the OAuth section in the help documentation.
モジュールのインストール:
Install-Module AzureDataCatalogCmdlets
Azure Data Catalog への接続:
$azuredatacatalog = Connect-AzureDataCatalog
取得ターゲットのリソースの取得:
$data = Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables"
Invoke-AzureDataCatalog cmdlet を使って、SQL-92 クエリを使用することもできます:
$data = Invoke-AzureDataCatalog -Connection $azuredatacatalog -Query 'SELECT * FROM Tables WHERE Name = @Name' -Params @{'@Name'='FactProductInventory'}
戻り値からカラム名のリストを保存します。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name
カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。
モジュールのインストール:
Install-Module MySQLCmdlets
MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:
$mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port
Azure Data Catalog、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Azure Data Catalog のリソース(Tables)と同じテーブル名を持っている必要があります。
$data | % {
$row = $_
$values = @()
$columns | % {
$col = $_
$values += $row.$($col)
}
Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values
}
これで、Azure Data Catalog データをMySQL に複製できました。これで、分析、BI などでAzure Data Catalog データをMySQL から使うことができるようになります。
一度PowerShell でAzure Data Catalog とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:
Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables" | % {
$row = $_
$values = @()
$columns | % {
$col = $_
$values += $row.$($col)
}
Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values
}
別のPowerShell モジュールで、Azure Data Catalog を別のデータベースに複製する場合、Select-AzureDataCatalog cmdlet のデータから、カラム、接続およびテーブルを除外する方がいいでしょう。これらのデータは、CData cmdlet からデータを移動する際にのみ必要なものだからです。:
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}