各製品の資料を入手。
詳細はこちら →PowerShell からIBM Cloud Data Engine のデータに接続してデータの取得・更新・挿入・削除・CSV エクスポートを実行する方法
CData PowerShell Cmdlets を使って、IBM Cloud Data Engine のデータに接続、データの取得・更新・挿入・削除・CSV エクスポートを実行する方法を紹介します。
最終更新日:2023-09-26
この記事で実現できるIBM Cloud Data Engine 連携のシナリオ
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
CData Cmdlets for IBMCloudDataEngine を使えば、PowerShell からIBM Cloud Data Engine に手軽に連携して、データのCRUD やエクスポートを実行できます。
本記事では、IBM Cloud Data Engine への接続方法からCSV エクスポート、データの操作までサンプルコード付きで解説していきます。
IBM Cloud Data Engine への接続を設定
それでは、まずはIBM Cloud Data Engine への接続設定からはじめていきましょう。接続設定にはCData IBM Cloud Data Engine Cmdlets が必要となります。右側のサイドバーから製品の全機能が使える30日間の無償トライアルがダウンロードできるので、ぜひご利用ください。
インストールが完了したら、プロファイルに以下の行を追加してください。次のPowerShell セッションでモジュールがロードされます。
Import-Module IBMCloudDataEngineCmdlets;
Connect-IBMCloudDataEngine コマンドを使ってIBM Cloud Data Engine との接続を設定します。各接続プロパティの取得方法は次に説明します。
$conn = Connect-IBMCloudDataEngine -Api Key "$Api Key" -Instance CRN "$Instance CRN" -Region "$Region" -Schema "$Schema" -OAuth Client Id "$OAuth Client Id" -OAuth Client Secret "$OAuth Client Secret"
IBM Cloud Data Engine は、OAuth およびHMAC 認証標準を使います。詳細はヘルプドキュメントを参照してください。
これで接続設定は完了です。
IBM Cloud Data Engine のデータを取得してCSV にパイプライン
接続が完了したので、Jobs テーブルデータを取得して結果をCSV ファイルにエクスポートします。
Select-IBMCloudDataEngine -Connection $conn -Table Jobs | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\myJobsData.csv -NoTypeInformation
このコードでは、Select-IBMCloudDataEngine から取得した結果をSelect-Object に流して、Export-Csv に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報を結果セットのそれぞれの行に挿入するためです。それらの情報を表示したくない場合に、Export-Csv コマンドに渡す前に除外を先に行い、そのあとでCSV ファイルにエクスポートします。
それでは、続いてデータの削除や挿入・更新を実行してみます。
データの削除
以下のように、フィルタリングで合致するレコードを削除することができます。
Select-IBMCloudDataEngine -Connection $conn -Table Jobs -Where "UserId = [email protected]" | Remove-IBMCloudDataEngine
データの挿入と更新
データの挿入や更新を使って、加工やクレンジングも行えます。以下の手順では、CSV ファイルのデータを読み込んで挿入対象のオブジェクトに同じレコードが存在するかを確認した上で、存在する場合にはデータを更新、存在しない場合にはデータの挿入を行います。
Import-Csv -Path C:\MyJobsUpdates.csv | %{ $record = Select-IBMCloudDataEngine -Connection $IBMCloudDataEngine -Table Jobs -Where ("Id = `'"+$_.Id+"`'") if($record){ Update-IBMCloudDataEngine -Connection $ibmclouddataengine -Table Jobs -Columns ("Id","Status") -Values ($_.Id, $_.Status) -Where ("Id = `'"+$_.Id+"`'") }else{ Add-IBMCloudDataEngine -Connection $ibmclouddataengine -Table Jobs -Columns ("Id","Status") -Values ($_.Id, $_.Status) } }
おわりに
このように、CData Cmdlets を使えばPowerShell でのIBM Cloud Data Engine のデータへの連携をシンプルに実現できます。ぜひCData PowerShell Cmdlets の30日間無償トライアルをダウンロードして、シンプルかつパワフルなデータ連携をお試しください。