Kafka データに連携しTalend からデータに接続

この記事では、Talend で簡単にCData JDBC Driver for ApacheKafka をワークフローに統合してKafka データ連携する方法を説明します。ここではCData JDBC Driver for ApacheKafka を使ってTalend でKafka をジョブフローに転送します。

JDBC データソースとしてTalend でKafka に接続

下記の手順に従って、Kafka にJDBC 接続を確立します：

1. Kafka を新しいデータベース接続を追加：新しく接続を追加するには、［Metadata］ノードを展開し［Db Connections］ノードを右クリックして［Create Connection］をクリックします。
2. ウィザードが表示されたら、接続に名前を入力します。

3. 次のページで、［DB Type］メニューから［Generic JDBC］を選択してJDBC URL を入力します。

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

   以下は一般的なJDBC URL です：

   jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;
4. インストールディレクトリの［lib］サブフォルダ内にあるcdata.jdbc.apachekafka.jar ファイルへのパスを入力します。
5. 接続を右クリックして［Retrieve Schema］をクリックします。
6. デフォルトオプションで［Next］をクリックしインポートしたいテーブルを選択します。
7. デフォルトオプションでウィザードを終了します。

SampleTable_1 テーブルをフラットファイルに出力

下記の手順に従って、SampleTable_1 テーブルをフラットファイル出力コンポーネントに転送します：

1. ［Table Schemas］ノードで、テーブルをワークスペース内にドラッグします。
2. ダイアログが表示されたら［tJDBCInput］コンポーネントを選択します。
3. 次に、［tFileOutputDelimited］コンポーネントをPalette の［Business Intelligence］タブからワークスペース内にドラッグします。
4. SampleTable_1 tJDBCInput コンポーネントを右クリックしてベクタを出力ファイルにドラッグします。

プロジェクトを実行してデータを転送します。