PowerShell Cmdlets でElasticsearch データをCSV にエクスポート

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Elasticsearch Cmdlets

PowerShell Cmdlets は、Elasticsearch へのリアルタイム連携機能を提供します。 Cmdlets を使って、データに直接連携し、読み書き更新をDB と同感覚で行うことができます。



標準PowerShell cmdlets を使ってElasticsearch テーブルにアクセスして、CSV にエクスポート。

CData Cmdlets Module for Elasticsearch は、直感的なElasticsearch データ連携を提供する標準cmdlet です。 本記事では、Elasticsearch Cmdlets を使ったサンプルを提供します。

Elasticsearch への接続を設定

接続するには、Server およびPort 接続プロパティを設定します。 認証には、User とPassword プロパティ、PKI (public key infrastructure)、またはその両方を設定します。 PKI を使用するには、SSLClientCert、SSLClientCertType、SSLClientCertSubject、およびSSLClientCertPassword プロパティを設定します。

本製品は、認証とTLS/SSL 暗号化にX-Pack Security を使用しています。TLS/SSL で接続するには、Server 値に'https://' を接頭します。Note: PKI を 使用するためには、TLS/SSL およびクライアント認証はX-Pack 上で有効化されていなければなりません。

接続されると、X-Pack では、設定したリルムをベースにユーザー認証およびロールの許可が実施されます。

$conn = Connect-Elasticsearch  -Server "$Server" -Port "$Port" -User "$User" -Password "$Password"

Elasticsearch データを取得してCSV にパイプライン

次の手順で、Orders テーブルデータを取得して、結果をCSV ファイルにエクスポートします:

Select-Elasticsearch -Connection $conn -Table Orders | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\myOrdersData.csv -NoTypeInformation

このように、Select-Elasticsearch から取得した結果を、Select-Object cmdlet に流し、Export-Csv cmdlet に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報が結果セットのそれぞれの"行"に挿入されるためです。それらの情報を表示したくない場合に、Export-Csv cmdlet に渡す前に除外を先に行い、それからCSV ファイルにエクスポートします。。

CData Cmdlets から、次のCmdlets にデータをパイプラインするところでは、接続、テーブル、カラムの情報が必要です。

データの削除

以下のように、指定に合致するレコードを削除することができます:

Select-Elasticsearch -Connection $conn -Table Orders -Where "ShipCity = New York" | Remove-Elasticsearch

データの挿入と更新

CData Cmdlets は、データの加工やクレンジングを行うことができます。以下の手順では、CSV ファイルのデータを、挿入対象のオブジェクトに同じレコードが存在するかを確認した上で、存在する場合にはデータの更新、存在しない場合にはデータの挿入を行います。

Import-Csv -Path C:\MyOrdersUpdates.csv | %{
  $record = Select-Elasticsearch -Connection $Elasticsearch -Table Orders -Where ("Id = `'"+$_.Id+"`'")
  if($record){
    Update-Elasticsearch -Connection $elasticsearch -Table Orders -Columns ("OrderName","Freight") -Values ($_.OrderName, $_.Freight) -Where ("Id = `'"+$_.Id+"`'")
  }else{
    Add-Elasticsearch -Connection $elasticsearch -Table Orders -Columns ("OrderName","Freight") -Values ($_.OrderName, $_.Freight)
  }
}

このように、CData Cmdlets でデータ連携をシンプルに構成できます。Cmdlets では、モジュールのインストール、接続プロパティの設定だけで、データ連携の構築を始めることができます。是非、CData PowerShell Cmdlets の無償試用版をダウンロードして、シンプルかつパワフルなデータ連携を体感してください。