PostgreSQL へのKafka データの反復同期を設定

常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。 CData Sync は、PostgreSQL インスタンスに直近のKafka を反復同期します。オンプレミスのPostgreSQL のほか、AWS、Azure、GCP などの環境のPostgreSQL やマネージドサービスにレプリケーションが可能です。CData Sync で、アーカイブ、レポーティング、アナリティクス、機械学習、AI などで使えるよう、企業内の多様なデータを一か所に統合して管理することが可能になります。

PostgreSQL をレプリケーションの同期先に設定

CData Sync を使って、PostgreSQL にKafka data をレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。

1. ［同期先］タブをクリックします。
2. PostgreSQL を同期先として選択します。
3. 必要な接続プロパティを入力します。PosgreSQL に設定するには次の接続プロパティの設定が必要です。CData Sync はNpgsql ADO.NET Provider for PostgreSQL を同梱しています。:
   • Server: PostgreSQL をホストしているサーバーのアドレス。
   • Port: PostgreSQL データベースをホストしているサーバーに接続するポート。
   • User: PostgreSQL データベースの認証のためのuser ID。
   • Password: PosgreSQL データベースへの認証のためのpassword。
   • Database: データベース名。
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

Kafka 接続の設定

データソース側にKafka を設定します。［接続］タブをクリックします。

1. ［接続の追加］セクションで［データソース］タブを選択します。
2. Kafka アイコンをデータソースとして選択します。プリインストールされたソースにKafka がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

レプリケーションを実行するクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

テーブルをカスタマイズしてレプリケーションする

レプリケーションはテーブル全体ではなく、カスタマイズが可能です。［変更］機能を使えば、レプリケーションするカラムの指定、同期先でのカラム名を変更しての保存、ソースデータの各種加工が可能です。レプリケーションのカスタマイズには、ジョブの［変更］ボタンをクリックしてカスタマイズウィンドウを開いて操作を行います。

レプリケーションのスケジュール起動設定

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。Kafka data のPostgreSQL へのレプリケーションジョブは一つではなく複数を作成することが可能です。