Amazon QuickSight でAzure Data Lake Storage データに連携するインタラクティブなダッシュボードを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Amazon QuickSight は、ユーザーがインタラクティブなダッシュボードを作成できるサービスです。Amazon QuickSight とCData Connect Server を一緒に使うことで、簡単にAzure Data Lake Storage データに連携する可視化、ダッシュボードを作成することができます。この記事では、Connect Server を経由してAmazon QuickSight からAzure Data Lake Storage に連携するダッシュボードを作成する方法を説明します。

CData Connect Server は、Azure Data Lake Storage データの仮想インターフェースを提供し、Amazon QuickSight からリアルタイムAzure Data Lake Storage データに直接連携することができます。Amazon QuickSight に簡単にAzure Data Lake Storage データをインポートすることで、レスポンシブなダッシュボードをAWS エコシステム上で作成することができます。

Azure Data Lake Storage の仮想MySQL データベースを作成

CData Connect Server は、直観的なPoint-and-click インターフェースでデータソースへの接続およびAPI エンドポイント作成を行います。

1. Connect Server にログインして、Databases をクリックします。
2. 利用できるデータソースアイコンから"Azure Data Lake Storage" を選択します。
3. Azure Data Lake Storage に接続するために必要なプロパティを入力します。

   Azure DataLakeStorage 接続プロパティの取得・設定方法

   Azure DataLakeStorage Gen 1 への接続

   Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen1 を指定。
   • Account：アカウント名に設定。
   • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 1 への認証

   Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

   Azure DataLakeStorage Gen 2 への接続

   Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

   • Schema：ADLSGen2 に設定。
   • Account：ストレージアカウント名に設定。
   • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
   • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

   Azure DataLakeStorage Gen 2 への認証

   Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

   アクセスキーを使用した認証

   アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

   Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

   1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
   2. 設定で「アクセスキー」を選択します。
   3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

   共有アクセス署名（SAS）

   共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

4. Test Database をクリックします。
5. Permission -> Add をクリックして、新しいユーザーを追加し、適切な権限を指定します。

これで、Azure Data Lake Storage の仮想データベースが作成でき、Amazon QuickSight からの可視化が可能になりました。

QuickSight にAzure Data Lake Storage データをインポートして、インタラクティブダッシュボードを作成

次の手順で、Azure Data Lake Storage の仮想データベースをCData Connedct Server に作成し、データをインポートして可視化を作成します。

1. Amazon QuickSight にログインして「データセット」をクリックします。
2. 次に「新しいデータセット」をクリックし、SQL Server をデータソースとして選択します。以下のように、CData Connect Server インスタンスの接続情報を入力していきます。
   • データソース名：任意
   • 接続タイプ：パブリックネットワーク
   • データベースサーバー: 接続するCData Connect Server インスタンスのURL。例：CONNECT_SERVER_URL
   • ポート：インスタンス接続用のポート。1433 など。
   • データベース名：仮想データベース名、例： ADLS1
   • ユーザー名：Connect Server で接続許可を与えたユーザー名
   • パスワード：Connect Server ユーザーのパスワード
   • SSL：インスタンス側でSSL を設定している場合にはオンに、設定していない場合はオフにしてください。
   「接続を検証」をクリックして接続をテストし、問題がなければ「データソースを作成」をクリックして接続を確立します。
3. テーブルの選択画面で、「カスタムSQL を使用」を選択します。
4. 次の画面で、「データの編集/プレビュー」を選択します。
5. カスタムSQL を入力、およびデータをプレビューできる画面が表示されるので、「スキーマエクスプローラー」から可視化したいスキーマおよびテーブルを選択して、以下の形式でカスタムクエリを作成します。

   SELECT <カラム名> FROM [<スキーマ名>].[<テーブル名>]。例えば、SELECT * FROM [ADLS1].[Resources] などです。

6. プレビューでデータを確認できたら、「保存して視覚化」ボタンを押して、データをロードします。
7. あとは、フィールドとタイプを選択して自在に可視化を作成できます。

SaaS アプリケーションからAzure Data Lake Storage データにSQL アクセスを実現

このようにAmazon QuickSight からAzure Data Lake Storage データに連携ができました。これで簡単に可視化やダッシュボード作成が可能です。他にも多くのSaaS に対応するCData Connect Server の詳細をこちらから ご覧ください。