ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →Azure Data Catalog Cmdlets の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
Azure Data Catalog Data Cmdlets 相談したいAzure Data Catalog データにリアルタイム連携を実現するPowerShell Cmdlets。Cmdlets を使って、SQL Server と同感覚で多様なデータにリアルタイムアクセス。
CData
こんにちは!ドライバー周りのヘルプドキュメントを担当している古川です。
CData Cmdlets for AzureDataCatalog を使えば、PowerShell からAzure Data Catalog データ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for AzureDataCatalog およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。
まずは、PowerShell でAzure Data Catalog への接続を行います。レプリケーションは4つのステップがあります。
Azure Data Catalog の認証にはOAuth を使用します。CData 製品では組込みOAuth が利用できるので、接続プロパティを設定することなく接続を試行するだけで、ブラウザ経由でAAS に認証できます。詳しい設定方法については、ヘルプドキュメントの「Azure Data Catalog への認証」セクションを参照してください。
設定は任意ですが、CatalogName プロパティを設定することでAzure Data Catalog から返されるカタログデータを明示的に指定できます。
CatalogName:Azure Data Catalog に紐づいているカタログ名に設定。空のままにすると、デフォルトのカタログが使用されます。カタログ名は、「Azure Portal」->「データカタログ」->「カタログ名」から取得できます。
モジュールのインストール:
Install-Module AzureDataCatalogCmdlets
Azure Data Catalog への接続:
$azuredatacatalog = Connect-AzureDataCatalog
取得ターゲットのリソースの取得:
$data = Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables"
Invoke-AzureDataCatalog cmdlet を使って、SQL-92 クエリを使用することもできます:
$data = Invoke-AzureDataCatalog -Connection $azuredatacatalog -Query 'SELECT * FROM Tables WHERE Name = @Name' -Params @{'@Name'='FactProductInventory'}
戻り値からカラム名のリストを保存します。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name
カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。
モジュールのインストール:
Install-Module MySQLCmdlets
MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:
$mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port
Azure Data Catalog、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Azure Data Catalog のリソース(Tables)と同じテーブル名を持っている必要があります。
$data | % {
$row = $_
$values = @()
$columns | % {
$col = $_
$values += $row.$($col)
}
Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values
}
一度PowerShell でAzure Data Catalog とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:
Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables" | % {
$row = $_
$values = @()
$columns | % {
$col = $_
$values += $row.$($col)
}
Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values
}
別のPowerShell モジュールで、Azure Data Catalog を別のデータベースに複製する場合、Select-AzureDataCatalog cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。
$columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}
これで、Azure Data Catalog データをMySQL に複製できました。分析、BI などでAzure Data Catalog データをMySQL から使うことができるようになります。