Amazon QuickSight でKafka データに連携するインタラクティブなダッシュボードを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Amazon QuickSight は、ユーザーがインタラクティブなダッシュボードを作成できるサービスです。Amazon QuickSight とCData Connect Server を一緒に使うことで、簡単にKafka データに連携する可視化、ダッシュボードを作成することができます。この記事では、Connect Server を経由してAmazon QuickSight からKafka に連携するダッシュボードを作成する方法を説明します。

CData Connect Server は、Kafka データの仮想インターフェースを提供し、Amazon QuickSight からリアルタイムKafka データに直接連携することができます。Amazon QuickSight に簡単にKafka データをインポートすることで、レスポンシブなダッシュボードをAWS エコシステム上で作成することができます。

Kafka の仮想MySQL データベースを作成

CData Connect Server は、直観的なPoint-and-click インターフェースでデータソースへの接続およびAPI エンドポイント作成を行います。

1. Connect Server にログインして、Databases をクリックします。
2. 利用できるデータソースアイコンから"Kafka" を選択します。
3. Kafka に接続するために必要なプロパティを入力します。

   BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

   認可メカニズム

   • SASL Plain：User およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
   • SASL SSL：User およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
   • SSL：SSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
   • Kerberos：User およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

   サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

4. Test Database をクリックします。
5. Permission -> Add をクリックして、新しいユーザーを追加し、適切な権限を指定します。

これで、Kafka の仮想データベースが作成でき、Amazon QuickSight からの可視化が可能になりました。

QuickSight にKafka データをインポートして、インタラクティブダッシュボードを作成

次の手順で、Kafka の仮想データベースをCData Connedct Server に作成し、データをインポートして可視化を作成します。

1. Amazon QuickSight にログインして「データセット」をクリックします。
2. 次に「新しいデータセット」をクリックし、SQL Server をデータソースとして選択します。以下のように、CData Connect Server インスタンスの接続情報を入力していきます。
   • データソース名：任意
   • 接続タイプ：パブリックネットワーク
   • データベースサーバー: 接続するCData Connect Server インスタンスのURL。例：CONNECT_SERVER_URL
   • ポート：インスタンス接続用のポート。1433 など。
   • データベース名：仮想データベース名、例： ApacheKafka1
   • ユーザー名：Connect Server で接続許可を与えたユーザー名
   • パスワード：Connect Server ユーザーのパスワード
   • SSL：インスタンス側でSSL を設定している場合にはオンに、設定していない場合はオフにしてください。
   「接続を検証」をクリックして接続をテストし、問題がなければ「データソースを作成」をクリックして接続を確立します。
3. テーブルの選択画面で、「カスタムSQL を使用」を選択します。
4. 次の画面で、「データの編集/プレビュー」を選択します。
5. カスタムSQL を入力、およびデータをプレビューできる画面が表示されるので、「スキーマエクスプローラー」から可視化したいスキーマおよびテーブルを選択して、以下の形式でカスタムクエリを作成します。

   SELECT <カラム名> FROM [<スキーマ名>].[<テーブル名>]。例えば、SELECT * FROM [ApacheKafka1].[SampleTable_1] などです。

6. プレビューでデータを確認できたら、「保存して視覚化」ボタンを押して、データをロードします。
7. あとは、フィールドとタイプを選択して自在に可視化を作成できます。

SaaS アプリケーションからKafka データにSQL アクセスを実現

このようにAmazon QuickSight からKafka データに連携ができました。これで簡単に可視化やダッシュボード作成が可能です。他にも多くのSaaS に対応するCData Connect Server の詳細をこちらから ご覧ください。