SAS xpt データをPowerShell でMySQL にレプリケーションする方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData Cmdlets for SASXpt を使えば、PowerShell からSAS xpt データ データにリアルタイムで連携できます。データ同期などのタスクの連携にぴったりの製品です。 本記事では、PowerShell からCData Cmdlets for SASXpt およびCData Cmdlets for MySQL を使って、同期スクリプトを作成して実行します。

まずは、PowerShell でSAS xpt への接続を行います。レプリケーションは4つのステップがあります。

ローカルSASXpt ファイルへの接続

URI をSASXpt ファイルを格納しているフォルダに設定すると、ローカルのSASXpt ファイルに接続できます。

S3 データソースへの接続

Amazon S3 ソースに接続してSASXpt ファイルを読み込むことができます。以下のプロパティを設定して接続します：

• URI：接続するバケット内のフォルダに設定。
• AWSAccessKey：AWS アカウントのアクセスキーに設定。
• AWSSecretKey：AWS アカウントのシークレットキーに設定。
• TemporaryLocalFolder：SASXptファイルを一時的にダウンロードするために使用するフォルダへのパス、またはURI に設定。

Azure Data Lake Storage Gen2 への接続

ADLS Gen2 に接続してSASXpt ファイルを読み込むことができます。以下のプロパティを設定して接続します：

• URI：ファイルシステムの名前およびSASXpt ファイルにコンタクトするフォルダの名前に設定。
• AzureAccount：Azure Data Lake storage アカウントの名前に設定。
• AzureAccessKey：Azure Data Lake storage Gen 2 ストレージアカウントのアクセスキーに設定。
• TemporaryLocalFolder：SASXptファイルを一時的にダウンロードするために使用するフォルダへのパス、またはURI に設定。

SAS xpt データの取得

1. モジュールのインストール:

   Install-Module SASXptCmdlets

2. SAS xpt への接続:

   $sasxpt = Connect-SASXpt -URI $URI

3. 取得ターゲットのリソースの取得:

   $data = Select-SASXpt -Connection $sasxpt -Table "SampleTable_1"

   Invoke-SASXpt cmdlet を使って、SQL-92 クエリを使用することもできます:

   $data = Invoke-SASXpt -Connection $sasxpt -Query 'SELECT * FROM SampleTable_1 WHERE Column2 = @Column2' -Params @{'@Column2'='100'}

4. 戻り値からカラム名のリストを保存します。

   $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name

SAS xpt データをMySQL データベースにレプリケーション

カラム名を指定できるようにして、データをMySQL データベースにレプリケーションします。

1. モジュールのインストール:

   Install-Module MySQLCmdlets

2. MySQL DB に、MySQL Server 名、ユーザー、パスワード、レプリケーション先のデータベース名を指定して、接続します:

   $mysql = Connect-MySQL -User $User -Password $Password -Database $Database -Server $Server -Port $Port

3. SAS xpt、保存された値、そしてAdd-MySQL Cmdlet を使って、MySQL にデータを1レコードずつ挿入します。この例では、MySQL 側のテーブルは、SAS xpt のリソース（SampleTable_1）と同じテーブル名を持っている必要があります。

   $data | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "SampleTable_1" -Columns $columns -Values $values }

次回以降のレプリケーションをシンプルに実現

• 一度PowerShell でSAS xpt とMySQL に接続したら、次からは1行のコマンドでレプリケーションを実施できます:

  Select-SASXpt -Connection $sasxpt -Table "SampleTable_1" | % { $row = $_ $values = @() $columns | % { $col = $_ $values += $row.$($col) } Add-MySQL -Connection $mysql -Table "SampleTable_1" -Columns $columns -Values $values }

• 別のPowerShell モジュールで、SAS xpt を別のデータベースに複製する場合、Select-SASXpt cmdlet のデータから、カラム、接続およびテーブルを除外しておきましょう。これらのデータはデータ移動のときだけ必要となるためです。

  $columns = ($data | Get-Member -MemberType NoteProperty | Select-Object -Property Name).Name | ? {$_ -NotIn @('Columns','Connection','Table')}

おわりに

これで、SAS xpt データをMySQL に複製できました。分析、BI などでSAS xpt データをMySQL から使うことができるようになります。