Powershell からの Kafka データ連携タスクを自動化

CData ADO.NET Provider for ApacheKafka は、ADO.NET 標準インターフェースへ統合し、PowerShell のような. NET アプリケーションからKafka API へのデータ連携を可能にします。このプロバイダーは、Kafka の認証および相互作用を簡単にします。このチュートリアルでは、PowerShell から直接SQL クエリを実行するための、いくつかの一般的なADO.NET オブジェクトの使い方を説明します。

クエリの実行

次の3つのステップに従って create、read、update、およびdelete (CRUD) のデータ連携コマンドを PowerShell からリアルタイムKafka に実行：

1. プロバイダーのアセンブリをロード：

   [Reflection.Assembly]::LoadFile("C:\Program Files\CData\CData ADO.NET Provider for ApacheKafka\lib\System.Data.CData.ApacheKafka.dll")

2. Kafka に接続：

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

   $constr = "User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;" $conn= New-Object System.Data.CData.ApacheKafka.ApacheKafkaConnection($constr) $conn.Open()

3. ApacheKafkaDataAdapter のインスタンスを生成してSQL クエリを実行し、結果を出力：

   $sql="SELECT Id, Column1 from SampleTable_1" $da= New-Object System.Data.CData.ApacheKafka.ApacheKafkaDataAdapter($sql, $conn) $dt= New-Object System.Data.DataTable $da.Fill($dt) $dt.Rows | foreach { Write-Host $_.id $_.column1 }

Kafka データの更新

Kafka へのデータの挿入

Kafka データの削除