Azure Data Catalog データをMySQL にレプリケーションするPowerShell スクリプト

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Azure Data Catalog Data Cmdlets

Azure Data Catalog データにリアルタイム連携を実現するPowerShell Cmdlets。Cmdlets を使って、SQL Server と同感覚で多様なデータにリアルタイムアクセス。



PowerShell でシンプルなスクリプトを記述し、Azure Data Catalog data をMySQL データベースにレプリケーション(複製)。

CData Cmdlets for Azure Data Catalog をつかって、PowerShell からリアルタイムAzure Data Catalog data に連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for Azure Data Catalog およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でAzure Data Catalog への接続を行います。レプリケーションは4つのステップがあります。

You can optionally set the following to read the different catalog data returned from Azure Data Catalog.

    CatalogName: Set this to the CatalogName associated with your Azure Data Catalog. To get your Catalog name, navigate to your Azure Portal home page > Data Catalog > Catalog Name

Connect Using OAuth Authentication

You must use OAuth to authenticate with Azure Data Catalog. OAuth requires the authenticating user to interact with Azure Data Catalog using the browser. For more information, refer to the OAuth section in the help documentation.

Azure Data Catalog データの取得

  1. モジュールのインストール:

    Install-Module AzureDataCatalogCmdlets
  2. Azure Data Catalog への接続:

    $azuredatacatalog = Connect-AzureDataCatalog
  3. 取得ターゲットのリソースの取得:

    $data = Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables"

    Invoke-AzureDataCatalog cmdlet を使って、SQL-92 クエリを使用することもできます:

    $data = Invoke-AzureDataCatalog -Connection $azuredatacatalog -Query 'SELECT * FROM Tables WHERE Name = @Name' -Params @{'@Name'='FactProductInventory'}
  4. 戻り値からカラム名のリストを保存します。

    $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Azure Data Catalog データをMySQL データベースに入れます

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

  1. モジュールのインストール:

    Install-Module MySQLCmdlets
  2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

    $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port
  3. Azure Data Catalog、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Azure Data Catalog のリソース(Tables)と同じテーブル名を持っている必要があります。

    $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values }

これで、Azure Data Catalog データをMySQL に複製できました。これで、分析、BI などでAzure Data Catalog データをMySQL から使うことができるようになります。

Notes

  • 一度PowerShell でAzure Data Catalog とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

    Select-AzureDataCatalog -Connection $azuredatacatalog -Table "Tables" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Tables" -Columns $columns -Values $values }
  • 別のPowerShell モジュールで、Azure Data Catalog を別のデータベースに複製する場合、Select-AzureDataCatalog cmdlet のデータから、カラム、接続およびテーブルを除外する方がいいでしょう。これらのデータは、CData cmdlet からデータを移動する際にのみ必要なものだからです。:

    $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}