Google Cloud Storage データをPowerShell でMySQL にレプリケーションする方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData Cmdlets for GoogleCloudStorage を使えば、PowerShell からGoogle Cloud Storage データ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for GoogleCloudStorage およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でGoogle Cloud Storage への接続を行います。レプリケーションは4つのステップがあります。

ユーザーアカウントでの認証

ユーザー資格情報の接続プロパティを設定することなく接続できます。InitiateOAuth をGETANDREFRESH に設定したら、接続の準備が完了です。

接続すると、Google Cloud Storage OAuth エンドポイントがデフォルトブラウザで開きます。ログインして権限を付与すると、OAuth プロセスが完了します。

サービスアカウントでの認証

サービスアカウントには、ブラウザでユーザー認証を行わないサイレント認証があります。サービスアカウントを使用して、企業全体のアクセススコープを委任することもできます。

このフローでは、OAuth アプリケーションを作成する必要があります。詳しくは、ヘルプドキュメントを参照してください。以下の接続プロパティを設定したら、接続の準備が完了です：

• InitiateOAuth: GETANDREFRESH に設定。
• OAuthJWTCertType: PFXFILE に設定。
• OAuthJWTCert: 生成した.p12 ファイルへのパスに設定。
• OAuthJWTCertPassword: .p12 ファイルのパスワードに設定。
• OAuthJWTCertSubject: 証明書ストアの最初の証明書が選ばれるように"*" に設定。
• OAuthJWTIssuer: 「サービスアカウント」セクションで「サービスアカウントの管理」をクリックし、このフィールドをサービスアカウントID フィールドに表示されているE メールアドレスに設定。
• OAuthJWTSubject: サブジェクトタイプが"enterprise" に設定されている場合はエンタープライズID に設定し、"user" に設定されている場合はアプリユーザーID に設定。
• ProjectId: 接続するプロジェクトのID に設定。

これで、サービスアカウントのOAuth フローが完了します。

Google Cloud Storage データの取得

1. モジュールのインストール:

   Install-Module GoogleCloudStorageCmdlets

2. Google Cloud Storage への接続:

   $googlecloudstorage = Connect-GoogleCloudStorage -ProjectId $ProjectId

3. 取得ターゲットのリソースの取得:

   $data = Select-GoogleCloudStorage -Connection $googlecloudstorage -Table "Buckets"

   Invoke-GoogleCloudStorage cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-GoogleCloudStorage -Connection $googlecloudstorage -Query 'SELECT * FROM Buckets WHERE Name = @Name' -Params @{'@Name'='TestBucket'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Google Cloud Storage データをMySQL データベースにレプリケーション

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. Google Cloud Storage、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Google Cloud Storage のリソース（Buckets）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Buckets" -Columns $columns -Values $values }

次回以降のレプリケーションをシンプルに実現

• 一度PowerShell でGoogle Cloud Storage とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-GoogleCloudStorage -Connection $googlecloudstorage -Table "Buckets" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Buckets" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、Google Cloud Storage を別のデータベースに複製する場合、Select-GoogleCloudStorage cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}

おわりに

これで、Google Cloud Storage データをMySQL に複製できました。分析、BI などでGoogle Cloud Storage データをMySQL から使うことができるようになります。