PowerShell からAzure Data Catalog データに接続してデータの取得・CSV エクスポートを実行する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData Cmdlets for AzureDataCatalog を使えば、PowerShell からAzure Data Catalog に手軽に連携して、データのCRUD やエクスポートを実行できます。

本記事では、Azure Data Catalog への接続方法からCSV エクスポート、データの操作までサンプルコード付きで解説していきます。

Azure Data Catalog への接続を設定

それでは、まずはAzure Data Catalog への接続設定からはじめていきましょう。接続設定にはCData Azure Data Catalog Cmdlets が必要となります。右側のサイドバーから製品の全機能が使える30日間の無償トライアルがダウンロードできるので、ぜひご利用ください。

インストールが完了したら、プロファイルに以下の行を追加してください。次のPowerShell セッションでモジュールがロードされます。

    Import-Module AzureDataCatalogCmdlets;

Connect-AzureDataCatalog コマンドを使ってAzure Data Catalog との接続を設定します。各接続プロパティの取得方法は次に説明します。

    $conn = Connect-AzureDataCatalog 

Azure Data Catalog 接続プロパティの取得・設定方法

OAuth 認証で接続

Azure Data Catalog の認証にはOAuth を使用します。CData 製品では組込みOAuth が利用できるので、接続プロパティを設定することなく接続を試行するだけで、ブラウザ経由でAAS に認証できます。詳しい設定方法については、ヘルプドキュメントの「Azure Data Catalog への認証」セクションを参照してください。

設定は任意ですが、CatalogName プロパティを設定することでAzure Data Catalog から返されるカタログデータを明示的に指定できます。

CatalogName：Azure Data Catalog に紐づいているカタログ名に設定。空のままにすると、デフォルトのカタログが使用されます。カタログ名は、「Azure Portal」->「データカタログ」->「カタログ名」から取得できます。

これで接続設定は完了です。

Azure Data Catalog データを取得してCSV にパイプライン

接続が完了したので、Tables テーブルデータを取得して結果をCSV ファイルにエクスポートします。

Select-AzureDataCatalog -Connection $conn -Table Tables | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\myTablesData.csv -NoTypeInformation

このコードでは、Select-AzureDataCatalog から取得した結果をSelect-Object に流して、Export-Csv に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報を結果セットのそれぞれの行に挿入するためです。それらの情報を表示したくない場合に、Export-Csv コマンドに渡す前に除外を先に行い、そのあとでCSV ファイルにエクスポートします。

おわりに

このように、CData Cmdlets を使えばPowerShell でのAzure Data Catalog データへの連携をシンプルに実現できます。ぜひCData PowerShell Cmdlets の30日間無償トライアルをダウンロードして、シンプルかつパワフルなデータ連携をお試しください。