Clover ETL からKafka データに連携

CData JDBC Driver for ApacheKafka は、CloverETL からKafka への作成、読み取り、更新、削除のCRUD コマンド 処理を実現します。本記事では、CloverETL でJDBC Driver を使い、Kafka をシンプルなCSV ファイルに変換します。

JDBC Data Source でKafka に接続

1. Kafka データへの連携を作成します。CloverETL の新しいgraph で、Outline ペインのConnections ノードを右クリックして、Create Connection をクリックします。Database Connection ウィザードが表示されます。
2. ＋アイコンをクリックして、.jar ファイルをロードします。インストールディレクトリのlib フォルダの cdata.jdbc.apachekafka.jar ファイルを選択します。
3. JDBC URL を入力します。一般的な接続文字列は： jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

DBInputTable コンポーネントで、Kafka データをクエリ

1. DBInputTable をReaders セクションからドラッグし、ジョブフローに置きます。ダブルクリックして、設定エディタを開きます。
2. DB コネクションプロパティで、Kafka JDBC をドロップダウンから選択します。
3. SQL クエリを入力します。例： SELECT * FROM SampleTable_1

UniversalDataWriter でQuery のOutput を記述

1. Writer セクションからUniversalDataWriter をドラッグして、ジョブフローに置きます。
2. UniversalDataWriter をダブルクリックして、設定エディタを開き、ファイルURL を足します。
3. DBInputTable をダブルクリックして、Extract Metadata をクリックします。
4. DBInputTable のOutput ポートをUniversalDataWriter に接続します。
5. UniversalDataWriter のSelect Metadata メニューでSampleTable_1 テーブルを選択します。（UniversalDataWriter のInput ポートを右クリックしてメニューを開くことも可能です。）
6. Run をクリックして、ファイルの書き込みを実行します。