PowerShell からAzure Data Lake Storage のデータに接続してデータの取得・CSV エクスポートを実行する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData Cmdlets for ADLS を使えば、PowerShell からAzure Data Lake Storage に手軽に連携して、データのCRUD やエクスポートを実行できます。

本記事では、Azure Data Lake Storage への接続方法からCSV エクスポート、データの操作までサンプルコード付きで解説していきます。

Azure Data Lake Storage への接続を設定

それでは、まずはAzure Data Lake Storage への接続設定からはじめていきましょう。接続設定にはCData Azure Data Lake Storage Cmdlets が必要となります。右側のサイドバーから製品の全機能が使える30日間の無償トライアルがダウンロードできるので、ぜひご利用ください。

インストールが完了したら、プロファイルに以下の行を追加してください。次のPowerShell セッションでモジュールがロードされます。

    Import-Module ADLSCmdlets;

Connect-ADLS コマンドを使ってAzure Data Lake Storage との接続を設定します。各接続プロパティの取得方法は次に説明します。

    $conn = Connect-ADLS  -Schema "$Schema" -Account "$Account" -FileSystem "$FileSystem" -AccessKey "$AccessKey"

Azure Data Lake Storage 接続プロパティの取得・設定方法

Azure Data Lake Storage Gen 2 への接続

Gen 2 Data Lake Storage アカウントに接続するには、以下のプロパティを設定します。

• Account：ストレージアカウントの名前。
• FileSystem：このアカウントに使用されるファイルシステム名。例えば、Azure Blob コンテナの名前。
• Directory（オプション）：レプリケートされたファイルが保存される場所へのパス。パスが指定されない場合、ファイルはルートディレクトリに保存されます。

Azure Data Lake Storage Gen 2 への認証

本製品は、次の４つの認証方法をサポートします：アクセスキーの使用、共有アクセス署名の使用、Azure Active Directory OAuth（AzureAD）、Managed Service Identity（AzureMSI）。

アクセスキー

Azure ポータルで：

1. ADLS Gen2 ストレージアカウントにアクセスします。
2. 設定でアクセスキーを選択します。
3. 利用可能なアクセスキーの1つの値をAccessKey 接続プロパティにコピーします。

接続の準備ができたら、次のプロパティを設定します。

• AuthScheme：AccessKey。
• AccessKey：先にAzure ポータルで取得したアクセスキーの値。

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、はじめにAzure Storage Explorer ツールを使用して署名を生成する必要があります。

接続の準備ができたら、次のプロパティを設定します。

• AuthScheme：SAS。
• SharedAccessSignature：先に生成した共有アクセス署名の値。

AzureAD、AzureMSI での認証方法については、ヘルプドキュメントの「Azure Data Lake Storage Gen 2 への認証」セクションを参照してください。

これで接続設定は完了です。

Azure Data Lake Storage のデータを取得してCSV にパイプライン

接続が完了したので、Resources テーブルデータを取得して結果をCSV ファイルにエクスポートします。

Select-ADLS -Connection $conn -Table Resources | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\myResourcesData.csv -NoTypeInformation

このコードでは、Select-ADLS から取得した結果をSelect-Object に流して、Export-Csv に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報を結果セットのそれぞれの行に挿入するためです。それらの情報を表示したくない場合に、Export-Csv コマンドに渡す前に除外を先に行い、そのあとでCSV ファイルにエクスポートします。

おわりに

このように、CData Cmdlets を使えばPowerShell でのAzure Data Lake Storage のデータへの連携をシンプルに実現できます。ぜひCData PowerShell Cmdlets の30日間無償トライアルをダウンロードして、シンプルかつパワフルなデータ連携をお試しください。