Google Data Catalog のデータをPowerShell でMySQL にレプリケーションする方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData Cmdlets for GoogleDataCatalog を使えば、PowerShell からGoogle Data Catalog のデータ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for GoogleDataCatalog およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でGoogle Data Catalog への接続を行います。レプリケーションは4つのステップがあります。

Google Data Catalog 接続プロパティの取得・設定方法

認証プロパティを追加する前に、次の接続プロパティを設定してください。

• OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
• ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

Google Data Catalog への認証

CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

Google Data Catalog のデータの取得

1. モジュールのインストール:

   Install-Module GoogleDataCatalogCmdlets

2. Google Data Catalog への接続:

   $googledatacatalog = Connect-GoogleDataCatalog -ProjectId $ProjectId

3. 取得ターゲットのリソースの取得:

   $data = Select-GoogleDataCatalog -Connection $googledatacatalog -Table "Schemas"

   Invoke-GoogleDataCatalog cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-GoogleDataCatalog -Connection $googledatacatalog -Query 'SELECT * FROM Schemas WHERE ProjectId = @ProjectId' -Params @{'@ProjectId'='bigquery-public-data'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Google Data Catalog のデータをMySQL データベースにレプリケーション

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. Google Data Catalog、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Google Data Catalog のリソース（Schemas）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Schemas" -Columns $columns -Values $values }

次回以降のレプリケーションをシンプルに実現

• 一度PowerShell でGoogle Data Catalog とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-GoogleDataCatalog -Connection $googledatacatalog -Table "Schemas" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Schemas" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、Google Data Catalog を別のデータベースに複製する場合、Select-GoogleDataCatalog cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}

おわりに

これで、Google Data Catalog のデータをMySQL に複製できました。分析、BI などでGoogle Data Catalog のデータをMySQL から使うことができるようになります。