Google Data Catalog データをMySQL にレプリケーションするPowerShell スクリプト

CData Cmdlets for Google Data Catalog をつかって、PowerShell からリアルタイムGoogle Data Catalog data に連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for Google Data Catalog およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でGoogle Data Catalog への接続を行います。レプリケーションは4つのステップがあります。

Google Data Catalog uses the OAuth authentication standard. Authorize access to Google APIs on behalf on individual users or on behalf of users in a domain.

Before connecting, specify the following to identify the organization and project you would like to connect to:

• OrganizationId: The ID associated with the Google Cloud Platform organization resource you would like to connect to. Find this by navigating to the cloud console.

  Click the project selection drop-down, and select your organization from the list. Then, click More -> Settings. The organization ID is displayed on this page.

• ProjectId: The ID associated with the Google Cloud Platform project resource you would like to connect to.

  Find this by navigating to the cloud console dashboard and selecting your project from the Select from drop-down. The project ID will be present in the Project info card.

When you connect, the OAuth endpoint opens in your default browser. Log in and grant permissions to the application to completes the OAuth process. For more information, refer to the OAuth section in the Help documentation.

Google Data Catalog データの取得

1. モジュールのインストール:

   Install-Module GoogleDataCatalogCmdlets

2. Google Data Catalog への接続:

   $googledatacatalog = Connect-GoogleDataCatalog -ProjectId $ProjectId

3. 取得ターゲットのリソースの取得:

   $data = Select-GoogleDataCatalog -Connection $googledatacatalog -Table "Schemas"

   Invoke-GoogleDataCatalog cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-GoogleDataCatalog -Connection $googledatacatalog -Query 'SELECT * FROM Schemas WHERE ProjectId = @ProjectId' -Params @{'@ProjectId'='bigquery-public-data'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Google Data Catalog データをMySQL データベースに入れます

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. Google Data Catalog、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Google Data Catalog のリソース（Schemas）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Schemas" -Columns $columns -Values $values }

これで、Google Data Catalog データをMySQL に複製できました。これで、分析、BI などでGoogle Data Catalog データをMySQL から使うことができるようになります。

Notes

• 一度PowerShell でGoogle Data Catalog とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-GoogleDataCatalog -Connection $googledatacatalog -Table "Schemas" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Schemas" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、Google Data Catalog を別のデータベースに複製する場合、Select-GoogleDataCatalog cmdlet のデータから、カラム、接続およびテーブルを除外する方がいいでしょう。これらのデータは、CData cmdlet からデータを移動する際にのみ必要なものだからです。:

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}