ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →Google BigQuery Cmdlets の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
Google BigQuery Cmdlets 相談したいPowerShell Cmdlets は、Google BigQuery へのリアルタイム連携機能を提供します。Cmdlets を使って、データに直接連携し、読み書き更新をDB と同感覚で行うことができます。
CData
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
CData Cmdlets for GoogleBigQuery を使えば、PowerShell からBigQuery に手軽に連携して、データのCRUD やエクスポートを実行できます。
本記事では、BigQuery への接続方法からCSV エクスポート、データの操作までサンプルコード付きで解説していきます。
それでは、まずはBigQuery への接続設定からはじめていきましょう。接続設定にはCData BigQuery Cmdlets が必要となります。右側のサイドバーから製品の全機能が使える30日間の無償トライアルがダウンロードできるので、ぜひご利用ください。
インストールが完了したら、プロファイルに以下の行を追加してください。次のPowerShell セッションでモジュールがロードされます。
Import-Module GoogleBigQueryCmdlets;
Connect-GoogleBigQuery コマンドを使ってBigQuery との接続を設定します。各接続プロパティの取得方法は次に説明します。
$conn = Connect-GoogleBigQuery -DataSetId "$DataSetId" -ProjectId "$ProjectId"
Google BigQuery はOAuth 認証標準を使用します。個々のユーザーとしてGoogle API にアクセスするには、組み込みクレデンシャルを使うか、OAuth アプリを作成します。
OAuth では、Google Apps ドメインのユーザーとしてサービスアカウントを使ってアクセスすることもできます。サービスカウントでの認証では、OAuth JWT を取得するためのアプリケーションを登録する必要があります。
OAuth 値に加え、DatasetId、ProjectId を設定する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。
これで接続設定は完了です。
接続が完了したので、Orders テーブルデータを取得して結果をCSV ファイルにエクスポートします。
Select-GoogleBigQuery -Connection $conn -Table Orders | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\myOrdersData.csv -NoTypeInformation
このコードでは、Select-GoogleBigQuery から取得した結果をSelect-Object に流して、Export-Csv に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報を結果セットのそれぞれの行に挿入するためです。それらの情報を表示したくない場合に、Export-Csv コマンドに渡す前に除外を先に行い、そのあとでCSV ファイルにエクスポートします。
それでは、続いてデータの削除や挿入・更新を実行してみます。
以下のように、フィルタリングで合致するレコードを削除することができます。
Select-GoogleBigQuery -Connection $conn -Table Orders -Where "ShipCity = New York" | Remove-GoogleBigQuery
データの挿入や更新を使って、加工やクレンジングも行えます。以下の手順では、CSV ファイルのデータを読み込んで挿入対象のオブジェクトに同じレコードが存在するかを確認した上で、存在する場合にはデータを更新、存在しない場合にはデータの挿入を行います。
Import-Csv -Path C:\MyOrdersUpdates.csv | %{ $record = Select-GoogleBigQuery -Connection $GoogleBigQuery -Table Orders -Where ("Id = `'"+$_.Id+"`'") if($record){ Update-GoogleBigQuery -Connection $googlebigquery -Table Orders -Columns ("OrderName","Freight") -Values ($_.OrderName, $_.Freight) -Where ("Id = `'"+$_.Id+"`'") }else{ Add-GoogleBigQuery -Connection $googlebigquery -Table Orders -Columns ("OrderName","Freight") -Values ($_.OrderName, $_.Freight) } }
このように、CData Cmdlets を使えばPowerShell でのBigQuery データへの連携をシンプルに実現できます。ぜひCData PowerShell Cmdlets の30日間無償トライアルをダウンロードして、シンプルかつパワフルなデータ連携をお試しください。