JDBC データソースでKafka との間にInformatica マッピングを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica は、データを転送・変換するための強力で立派な手段を提供します。CData JDBC Driver for ApacheKafka を利用することで、Informatica の強力なデータ転送および操作機能とシームレスに統合される、業界で実証済みの標準に基づくドライバーにアクセスできます。このチュートリアルでは、Informatica PowerCenter でKafka を転送および参照する方法を示します。

ドライバーをデプロイ

ドライバーをInformatica PowerCenter サーバーに展開するために、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーします。Informatica-installation-directory\services\shared\jars\thirdparty.

Developer ツールでKafka を使用するには、インストールディレクトリのlib サブフォルダにあるCData JAR および.lic ファイルを次のフォルダにコピーする必要があります。

• Informatica-installation-directory\client\externaljdbcjars
• Informatica-installation-directory\externaljdbcjars

JDBC 接続の作成

以下のステップに従って、Informatica Developer に接続します。

1. ［Connection Explorer］ペインで［domain］を右クリックし、［Create a Connection］をクリックします。
2. 表示される［New Database Connection］ウィザードで、接続の名前とId を入力し、［Type］メニューで［JDBC］を選択します。
3. ［JDBC Driver Class Name］のプロパティで次のコードを入力します。 cdata.jdbc.apachekafka.ApacheKafkaDriver
4. ［Connection String］プロパティでは、Kafka の接続プロパティを使用してJDBC URLを入力します。

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

   ビルトイン接続文字列デザイナ

   JDBC URL の構成については、Kafka JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

   java -jar cdata.jdbc.apachekafka.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   以下は一般的な接続文字列です。

   jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

Kafka テーブルを参照

ドライバーJAR をクラスパスに追加してJDBC 接続を作成すると、Informatica のKafka エンティティにアクセスできるようになります。以下のステップに従ってKafka に接続し、Kafka テーブルを参照します。

1. リポジトリに接続します。
2. ［Connection Explorer］で、［connection］を右クリックし、［Connect］をクリックします。
3. ［Show Default Schema Only］オプションをクリアします。

以下より、［Data Viewer］でKafka テーブルを参照できるようになります。テーブルの［node］を右クリックし、［Open］をクリックします。［Data Viewer］で［Run］をクリックします。

Kafka データオブジェクトの作成

以下のステップに従って、プロジェクトにKafka テーブルを追加します。

1. Kafka でテーブルを選択し、右クリックして［Add to Project］をクリックします。
2. 表示されるダイアログでリソースごとにデータオブジェクトを作成するオプションを選択します。
3. ［Select Location］ダイアログで、プロジェクトを選択します。

   マッピングの作成

   以下のステップに従って、マッピングにKafka ソースを追加します。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Mapping］と進みます。
   2. Kafka 接続のノードを展開し、テーブルのデータオブジェクトをエディターにドラッグします。.
   3. 表示されるダイアログで、［Read］オプションを選択します。

   以下のステップに従って、Kafka カラムをフラットファイルにマッピングします。

   1. ［Object Explorer］でプロジェクトを右クリックし、［New］->［Data Object］と進みます。
   2. ［Flat File Data Object］->［Create as Empty］->［Fixed Width］と選択していきます。
   3. Kafka オブジェクトのプロパティで必要な行を選択して右クリックし、［copy］をクリックします。行をフラットファイルのプロパティにペーストします。
   4. フラットファイルのデータオブジェクトをマッピングにドラッグします。
   5. 表示されるダイアログで、［Write］オプションを選択します。
   6. クリックしてドラッグすることで、列を接続します。

   Kafka を転送するために、ワークスペースで右クリックし、［Run Mapping］をクリックします。