PowerShell Cmdlets でKafka データをCSV にエクスポート

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Kafka Data Cmdlets

Apache Kafka データにリアルタイム連携を実現するPowerShell Cmdlets。Cmdlets を使って、SQL Server と同感覚で多様なデータにリアルタイムアクセス。



標準PowerShell cmdlets を使ってKafka テーブルにアクセスして、CSV にエクスポート。

CData Cmdlets Module for Kafka は、直感的なKafka データ連携を提供する標準cmdlet です。 本記事では、ApacheKafka Cmdlets を使ったサンプルを提供します。

Kafka への接続を設定

BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

認可メカニズム

  • SASL PlainUser およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
  • SASL SSLUser およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
  • SSLSSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
  • KerberosUser およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

$conn = Connect-ApacheKafka  -User "$User" -Password "$Password" -BootStrapServers "$BootStrapServers" -Topic "$Topic"

Kafka データを取得してCSV にパイプライン

次の手順で、SampleTable_1 テーブルデータを取得して、結果をCSV ファイルにエクスポートします:

Select-ApacheKafka -Connection $conn -Table SampleTable_1 | Select -Property * -ExcludeProperty Connection,Table,Columns | Export-Csv -Path c:\mySampleTable_1Data.csv -NoTypeInformation

このように、Select-ApacheKafka から取得した結果を、Select-Object cmdlet に流し、Export-Csv cmdlet に渡す前にいくつかのプロパティを除外しています。これは、CData Cmdlets が接続情報、テーブル、およびカラム情報が結果セットのそれぞれの"行"に挿入されるためです。それらの情報を表示したくない場合に、Export-Csv cmdlet に渡す前に除外を先に行い、それからCSV ファイルにエクスポートします。。

CData Cmdlets から、次のCmdlets にデータをパイプラインするところでは、接続、テーブル、カラムの情報が必要です。

データの削除

以下のように、指定に合致するレコードを削除することができます:

Select-ApacheKafka -Connection $conn -Table SampleTable_1 -Where "Column2 = 100" | Remove-ApacheKafka

データの挿入と更新

CData Cmdlets は、データの加工やクレンジングを行うことができます。以下の手順では、CSV ファイルのデータを、挿入対象のオブジェクトに同じレコードが存在するかを確認した上で、存在する場合にはデータの更新、存在しない場合にはデータの挿入を行います。

Import-Csv -Path C:\MySampleTable_1Updates.csv | %{
  $record = Select-ApacheKafka -Connection $ApacheKafka -Table SampleTable_1 -Where ("Id = `'"+$_.Id+"`'")
  if($record){
    Update-ApacheKafka -Connection $apachekafka -Table SampleTable_1 -Columns ("Id","Column1") -Values ($_.Id, $_.Column1) -Where ("Id = `'"+$_.Id+"`'")
  }else{
    Add-ApacheKafka -Connection $apachekafka -Table SampleTable_1 -Columns ("Id","Column1") -Values ($_.Id, $_.Column1)
  }
}

このように、CData Cmdlets でデータ連携をシンプルに構成できます。Cmdlets では、モジュールのインストール、接続プロパティの設定だけで、データ連携の構築を始めることができます。是非、CData PowerShell Cmdlets の無償試用版をダウンロードして、シンプルかつパワフルなデータ連携を体感してください。