Amazon QuickSight でSpark データに連携するインタラクティブなダッシュボードを作成

Ready to get started?

Learn more or sign up for a free trial:

CData Connect



CData Connect Cloud を使ってSpark データの仮想MySQL エンドポイントを作成して、Amazon QuickSight SPICE からSpark データを使ったインタラクティブダッシュボードを作成する方法。

Amazon QuickSight は、クラウド上でユーザーがインタラクティブなダッシュボードを作成できるサービスです。Amazon QuickSight とCData Connect Cloud を一緒に使うことで、簡単にSpark データに連携するビジュアライズ、ダッシュボードを作成することができます。この記事では、Connect Cloud を経由してAmazon QuickSight からSpark に連携するダッシュボードを作成する方法を説明します。

CData Connect Cloud は、Spark データのクラウドto クラウドの仮想MySQL インターフェースを提供し、Amazon QuickSight からリアルタイムSpark データに連携することができます。Amazon QuickSight SPICE(Super-fast、Parallel、In-memory Calculation Engine)に簡単にSpark データをインポートすることで、レスポンシブなダッシュボードをAmazon エコシステムを使って作成することができます。SPICE に保存されたデータはスケジュールで更新可能で常にアップデートされたデータを保持することができます。

Spark の仮想MySQL データベースを作成

CData Connect Cloud は、直観的なPoint-and-click インターフェースでデータソースへの接続およびAPI エンドポイント作成を行います。

  1. Connect Cloud にログインして、Databases をクリックします。
  2. 利用できるデータソースアイコンから"Spark" を選択します。
  3. Spark に接続するために必要なプロパティを入力します。

    SparkSQL への接続

    SparkSQL への接続を確立するには以下を指定します。

    • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
    • Port:SparkSQL インスタンスへの接続用のポートに設定。
    • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
    • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

    Databricks への接続

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、[クラスター]に移動して目的のクラスターを選択し、 [Advanced Options]の下にある[JDBC/ODBC]タブを選択することで、Databricks インスタンスで見つけることができます。

    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • Port:443
    • TransportMode:HTTP
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • UseSSL:True
    • AuthScheme:PLAIN
    • User:'token' に設定。
    • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの[ユーザー設定]ページに移動して[アクセストークン]タブを選択することで取得できます)。

  4. Test Database をクリックします。
  5. Privileges -> Add をクリックして、新しいユーザーを追加し、適切な権限を指定します。

これで、Spark の仮想データベースが作成でき、Amazon QuickSight からのビジュアライズが可能になりました。

SPICE にSpark データをインポートして、インタラクティブダッシュボードを作成

次の手順で、Spark の仮想データベースをCData Connedct Cloud に作成し、SPICE にデータをインポートしてビジュアライズを作成します。

  1. Amazon QuickSight にログインして "Manage data" をクリックします。
  2. 新しいデータセットをクリックし、MySQL をデータソースとして選択します。CData Connect Cloud のインスタンスの接続情報を入力していきます。「接続を検証」をクリックして接続をテストし、問題がなければ「データソースを作成」をクリックして接続を確立します。
  3. テーブルの選択画面で、ビジュアライズで利用するテーブルを選択します。「選択」をクリックしてテーブルを確定させます。
  4. データの取り込みのオプションで、インポートかデータクエリを直接実行するかをチェックします。
  5. 「Visualize」ボタンを押して、データをロードします。
  6. フィールドとタイプを選択してビジュアライズを作成します。

SPICE データセットの更新をスケジューリングする

QuickSight では、SPICE にデータをインポートする間隔をスケジュールすることが可能で、分析字に絶えず最新のデータを使うことができます。

  1. QuickSight のホームからはじめます。
  2. "Manage data" をクリック。
  3. データのリフレッシュを行うデータセットを選択します。
  4. Schedule refresh をクリックします。
  5. タイムゾーン、頻度、開始時などのリフレッシュの設定を行い、Create をクリックします。

クラウドアプリケーションからSpark データにSQL アクセスを実現

このようにAmazon QuickSight からSpark データにクラウド-to-クラウドでの連携ができました。これで簡単にビジュアライズ、やダッシュボード作成が可能です。他にも多くのSaaS に対応するCData Connect Cloud の詳細をConnect Cloud からご覧ください。