PowerShell からGoogle Data Catalog データに接続してデータの取得・CSV エクスポートを実行する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData Cmdlets for GoogleDataCatalog を使えば、PowerShell からGoogle Data Catalog に手軽に連携して、データのCRUD やエクスポートを実行できます。

本記事では、Google Data Catalog への接続方法からCSV エクスポート、データの操作までサンプルコード付きで解説していきます。

Google Data Catalog への接続を設定

それでは、まずはGoogle Data Catalog への接続設定からはじめていきましょう。接続設定にはCData Google Data Catalog Cmdlets が必要となります。右側のサイドバーから製品の全機能が使える30日間の無償トライアルがダウンロードできるので、ぜひご利用ください。

インストールが完了したら、プロファイルに以下の行を追加してください。次のPowerShell セッションでモジュールがロードされます。

    Import-Module GoogleDataCatalogCmdlets;

Connect-GoogleDataCatalog コマンドを使ってGoogle Data Catalog との接続を設定します。各接続プロパティの取得方法は次に説明します。

    $conn = Connect-GoogleDataCatalog  -ProjectId "$ProjectId"

Google Data Catalog 接続プロパティの取得・設定方法

認証プロパティを追加する前に、次の接続プロパティを設定してください。

• OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
• ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

Google Data Catalog への認証

CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

これで接続設定は完了です。

Google Data Catalog データを取得してCSV にパイプライン

接続が完了したので、Schemas テーブルデータを取得して結果をCSV ファイルにエクスポートします。

Select-GoogleDataCatalog -Connection $conn -Table Schemas | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\mySchemasData.csv -NoTypeInformation

このコードでは、Select-GoogleDataCatalog から取得した結果をSelect-Object に流して、Export-Csv に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報を結果セットのそれぞれの行に挿入するためです。それらの情報を表示したくない場合に、Export-Csv コマンドに渡す前に除外を先に行い、そのあとでCSV ファイルにエクスポートします。

おわりに

このように、CData Cmdlets を使えばPowerShell でのGoogle Data Catalog データへの連携をシンプルに実現できます。ぜひCData PowerShell Cmdlets の30日間無償トライアルをダウンロードして、シンプルかつパワフルなデータ連携をお試しください。