Presto データをMySQL にレプリケーションするPowerShell スクリプト

CData Cmdlets for Presto をつかって、PowerShell からリアルタイムPresto data に連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for Presto およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でPresto への接続を行います。レプリケーションは4つのステップがあります。

Presto への接続には、まずはServer およびPort を接続プロパティとして設定します。それ以外の追加項目は接続方式によって異なります。

TLS/SSL を有効化するには、UseSSL をTRUE に設定します。

LDAP で認証

LDAP で認証するには、次の接続プロパティを設定します:

• AuthScheme: LDAP に設定。
• User: LDAP で接続するユーザー名。
• Password: LDAP で接続するユーザーのパスワード。

Kerberos 認証

KERBEROS 認証を使う場合には、以下を設定します:

• AuthScheme: KERBEROS に設定。
• KerberosKDC: 接続するユーザーのKerberos Key Distribution Center (KDC) サービス。
• KerberosRealm: 接続するユーザーのKerberos Realm 。
• KerberosSPN: Kerberos Domain Controller のService Principal Name。
• KerberosKeytabFile: Kerberos principals とencrypted keys を含むKeytab file。
• User: Kerberos のユーザー。
• Password: Kerberos で認証するユーザーのパスワード。

Presto データの取得

1. モジュールのインストール:

   Install-Module PrestoCmdlets

2. Presto への接続:

   $presto = Connect-Presto -Server $Server -Port $Port

3. 取得ターゲットのリソースの取得:

   $data = Select-Presto -Connection $presto -Table "Customer"

   Invoke-Presto cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-Presto -Connection $presto -Query 'SELECT * FROM Customer WHERE Id = @Id' -Params @{'@Id'='123456789'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Presto データをMySQL データベースに入れます

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. Presto、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Presto のリソース（Customer）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Customer" -Columns $columns -Values $values }

これで、Presto データをMySQL に複製できました。これで、分析、BI などでPresto データをMySQL から使うことができるようになります。

Notes

• 一度PowerShell でPresto とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-Presto -Connection $presto -Table "Customer" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Customer" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、Presto を別のデータベースに複製する場合、Select-Presto cmdlet のデータから、カラム、接続およびテーブルを除外する方がいいでしょう。これらのデータは、CData cmdlet からデータを移動する際にのみ必要なものだからです。:

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}