Informatica Cloud でKafka とデータ連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Informatica Cloud を使うと、抽出、変換、読み込み（ETL）のタスクをクラウド上で実行できます。Cloud Secure Agent およびCData JDBC Driver for ApacheKafka を組み合わせると、Informatica Cloud で直接Kafka のデータにリアルタイムでアクセスできます。この記事では、Cloud Secure Agent のダウンロードと登録、JDBC ドライバーを経由したKafka への接続、そしてInformatica Cloud の処理で使用可能なマッピングの生成について紹介します。

Informatica Cloud Secure Agent

JDBC ドライバー経由でKafka のデータを操作するには、Cloud Secure Agent をインストールします。

1. Informatica Cloud の「管理者」ページに移動します。
2. 「ランタイム環境」タブを選択します。
3. 「Secure Agent のダウンロード」をクリックします。
4. 「インストールトークン」の文字列を控えておきます。
5. クライアントマシンでインストーラーを実行し、ユーザー名とインストールトークンを入力してCloud Secure Agent を登録します。

NOTE：Cloud Secure Agent の全サービスが立ち上がるまで、時間がかかる場合があります。

Kafka JDBC Driver への接続

Cloud Secure Agent をインストールして実行したら、JDBC ドライバーを使ってKafka に接続できるようになります。はじめに「接続」タブをクリックし、続けて「新しい接続」をクリックします。接続するには次のプロパティを入力します。

• 接続名：接続の名前を入力（例：CData Kafka Connection）。
• タイプ：「JDBC_IC (Informatica Cloud)」を選択。
• ランタイム環境：Cloud Secure Agent をインストールしたランタイム環境を選択。
• JDBC 接続URL：Kafka のJDBC URL に設定。URL は次のようになります。
  
  jdbc:apachekafka:User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

  Apache Kafka 接続プロパティの取得・設定方法

  .NET ベースのエディションは、Confluent.Kafka およびlibrdkafka ライブラリに依存して機能します。 これらのアセンブリはインストーラーにバンドルされ、自動的に本製品と一緒にインストールされます。 別のインストール方法を利用する場合は、NuGet から依存関係のあるConfluent.Kafka 2.6.0 をインストールしてください。

  Apache Kafka サーバーのアドレスを指定するには、BootstrapServers パラメータを使用します。

  デフォルトでは、本製品はデータソースとPLAINTEXT で通信し、これはすべてのデータが暗号化なしで送信されることを意味します。 通信を暗号化するには：

  1. UseSSL をtrue に設定し、本製品がSSL 暗号化を使用するように構成します。
  2. SSLServerCert およびSSLServerCertType を設定して、サーバー証明書をロードします。

  Apache Kafka への認証

  Apache Kafka データソースは、次の認証メソッドをサポートしています：
  • Anonymous
  • Plain
  • SCRAM ログインモジュール
  • SSL クライアント証明書
  • Kerberos

  Anonymous

  Apache Kafka の特定のオンプレミスデプロイメントでは、認証接続プロパティを設定することなくApache Kafka に接続できます。 こうした接続はanonymous（匿名）と呼ばれます。

  匿名認証を行うには、このプロパティを設定します。

  • AuthScheme：None。

  その他の認証方法については、ヘルプドキュメントを参照してください。

  組み込みの接続文字列デザイナー

  JDBC URL の作成の補助として、Kafka JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。.jar ファイルをダブルクリックするか、コマンドラインから.jar ファイルを実行します。

  java -jar cdata.jdbc.apachekafka.jar

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

• JDBC Jar ディレクトリ：JDBC ドライバーがインストールされたディレクトリ（Windows の場合、デフォルトではC:\Program Files\CData\CData JDBC Driver for ApacheKafka\）直下のlib フォルダに設定。
• JDBC Driver Class Name：cdata.jdbc.apachekafka.ApacheKafkaDriver に設定。
• ユーザー名：Kafka のユーザー名に設定。
• パスワード：Kafka のパスワードに設定。

Kafka のデータマッピングの作成

Kafka への接続設定が完了し、Informatica のどのプロセスでもKafka のデータにアクセスできるようになりました。以下の手順で、Kafka から別のデータターゲットへのマッピングを作成します。

1. 「データ統合」ページに移動します。
2. 「新規」をクリックし、「マッピング」タブを開くと表示される「マッピング」を選択します。
3. 「ソース」ノードをクリックし、表示されるプロパティの「ソース」タブで「接続」と「ソースタイプ」を設定します。
4. 「選択」をクリックして、表示されるテーブル一覧からマッピングするテーブルを選択します。
5. 「フィールド」タブで、Kafka テーブルからマッピングするフィールドを選択します。
6. 「ターゲット」ノードをクリックし、ターゲットソース、テーブル、およびフィールドを設定します。「フィールドマッピング」タブで、ソースフィールドをターゲットフィールドにマッピングします。

マッピングの設定が完了し、Informatica Cloud でサポートされている接続とリアルタイムKafka のデータの統合を開始する準備ができました。CData JDBC Driver for ApacheKafka の30日の無償評価版をダウンロードして、今日からInformatica Cloud でリアルタイムKafka のデータの操作をはじめましょう！