Azure Data Factory を使用してKafka データをインポート

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Server と組み合わせると、ADF はデータフローでKafka データにクラウドベースで即座にアクセスできます。 この記事では、Connect Server を使用してKafka に接続し、ADF でKafka データにアクセスする方法を紹介します。

CData Connect Server は、Kafka にクラウドベースインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなく、Azure Data Factory でのリアルタイムKafka データへのアクセスを実現します。 CData Connect Server は、最適化されたデータ処理により、サポートされているすべてのSQL 操作（フィルタ、JOIN など）をKafka に直接プッシュし、サーバー側の処理を利用して要求されたKafka データを高速で返します。

Kafka データの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

1. Connect Server にログインし、「CONNECTIONS」をクリックします。
2. 一覧から「Kafka」を選択します。
3. Kafka に接続するために必要な認証プロパティを入力します。

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

4. 「 Test Connection」をクリックします。
5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Azure Data Factoro を含むお好みのクライアントからKafka に接続できるようになります。

Azure Data Factory からリアルタイムKafka データにアクセス

Azure Data Factory からCData Connect Server の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

1. Azure Data Factory にログインします。
2. まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。
3. 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。
4. 接続設定を入力します。
   • Name - 任意の名前を入力。
   • Server name - Connect Server のURL とポートをカンマで区切って入力。例：CONNECT_SERVER_URL,1433
   • Database name - 接続したいCData Connect Server データソースのConnection Name を入力。例：ApacheKafka1
   • User Name - CData Connect Server のユーザー名を入力。ユーザー名はCData Connect Server のインターフェースの右上に表示されています。 例：test@cdata.com
   • Password - Password（Azure Key Vault ではありません）を選択してConnect Server のパスワードを入力。
   • 「Create」をクリックします。
5. Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。
6. リンクされたサービスを作成すると、以下の画面が表示されます。
7. Preview data をクリックすると、インポートされたKafka テーブルが表示されます。
Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。

CData Connect Server の入手

CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください！