Presto データをMySQL にレプリケーションするPowerShell スクリプト

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Presto Data Cmdlets

Presto データにリアルタイム連携を実現するPowerShell Cmdlets。Cmdlets を使って、SQL Server と同感覚で多様なデータにリアルタイムアクセス。



PowerShell でシンプルなスクリプトを記述し、Presto data をMySQL データベースにレプリケーション(複製)。

CData Cmdlets for Presto をつかって、PowerShell からリアルタイムPresto data に連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for Presto およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でPresto への接続を行います。レプリケーションは4つのステップがあります。

Presto への接続には、まずはServer およびPort を接続プロパティとして設定します。それ以外の追加項目は接続方式によって異なります。

TLS/SSL を有効化するには、UseSSL をTRUE に設定します。

LDAP で認証

LDAP で認証するには、次の接続プロパティを設定します:

  • AuthScheme: LDAP に設定。
  • User: LDAP で接続するユーザー名。
  • Password: LDAP で接続するユーザーのパスワード。

Kerberos 認証

KERBEROS 認証を使う場合には、以下を設定します:

  • AuthScheme: KERBEROS に設定。
  • KerberosKDC: 接続するユーザーのKerberos Key Distribution Center (KDC) サービス。
  • KerberosRealm: 接続するユーザーのKerberos Realm 。
  • KerberosSPN: Kerberos Domain Controller のService Principal Name。
  • KerberosKeytabFile: Kerberos principals とencrypted keys を含むKeytab file。
  • User: Kerberos のユーザー。
  • Password: Kerberos で認証するユーザーのパスワード。

Presto データの取得

  1. モジュールのインストール:

    Install-Module PrestoCmdlets
  2. Presto への接続:

    $presto = Connect-Presto -Server $Server -Port $Port
  3. 取得ターゲットのリソースの取得:

    $data = Select-Presto -Connection $presto -Table "Customer"

    Invoke-Presto cmdlet を使って、SQL-92 クエリを使用することもできます:

    $data = Invoke-Presto -Connection $presto -Query 'SELECT * FROM Customer WHERE Id = @Id' -Params @{'@Id'='123456789'}
  4. 戻り値からカラム名のリストを保存します。

    $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

Presto データをMySQL データベースに入れます

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

  1. モジュールのインストール:

    Install-Module MySQLCmdlets
  2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

    $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port
  3. Presto、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、Presto のリソース(Customer)と同じテーブル名を持っている必要があります。

    $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Customer" -Columns $columns -Values $values }

これで、Presto データをMySQL に複製できました。これで、分析、BI などでPresto データをMySQL から使うことができるようになります。

Notes

  • 一度PowerShell でPresto とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

    Select-Presto -Connection $presto -Table "Customer" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "Customer" -Columns $columns -Values $values }
  • 別のPowerShell モジュールで、Presto を別のデータベースに複製する場合、Select-Presto cmdlet のデータから、カラム、接続およびテーブルを除外する方がいいでしょう。これらのデータは、CData cmdlet からデータを移動する際にのみ必要なものだからです。:

    $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}