MicroStrategy でCData JDBC Driver を使ってAzure Data Lake Storage に接続

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

MicroStrategy は、データ主導のイノベーションを可能にする、モビリティプラットフォームです。MicroStrategy をCData JDBC Driver for ADLS とペアリングすると、MicroStrategy からリアルタイムAzure Data Lake Storage へのデータベースのようなアクセスが得られ、レポート機能と分析機能が拡張されます。この記事では、MicroStrategy Developer でAzure Data Lake Storage のデータベースインスタンスを作成し、Azure Data Lake Storage のWarehouse Catalog を作成します。

CData JDBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、MicroStrategy でリアルタイムAzure Data Lake Storage と対話するための圧倒的なパフォーマンスを提供します。MicroStrategy からAzure Data Lake Storage に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAzure Data Lake Storage に直接プッシュし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブのMicroStrategy データタイプを使用してAzure Data Lake Storage を視覚化および分析できます。

MicroStrategy Developer のAzure Data Lake Storage に接続

CData JDBC Driver for ADLS に基づくデータベースインスタンスを追加することにより、MicroStrategy Developer のAzure Data Lake Storage に接続できます。^* 開始する前に、MicroStrategy Developer のインスタンスが接続されているMicroStrategy Intelligence Server をホストとするマシンにJDBC Driver for ADLS をインストールする必要があります。

1. MicroStrategy Developer を開き、［Project Source］を選択します。
2. ［Administration］->［Configuration Managers］->［Database Instances］と進み、右クリックして新しいインスタンスを追加します。
3. インスタンスに名前を付け、データベース接続タイプとしてGeneric DBMS を選択し、新しいデータベース接続を作成します。
4. データベース接続ウィザードで接続に名前を付け、新しいデータベースログイン名を作成してAzure Data Lake Storage のユーザーとパスワードを設定します。
5. 接続ウィザードの［Advanced］タブで、追加の接続文字列パラメータを以下のように設定します。
   • JDBC キーワードを接続文字列に追加します。
   • MSTR_JDBC_JAR_FOLDER をJDBC ドライバーのJAR ファイルを含むディレクトリのパスに設定します。(C:\Program Files\CData JDBC Driver for ADLS\lib\ on Windows.)
   • DRIVER をドライバークラスであるcdata.jdbc.adls.ADLSDriver に設定します。
   • URL をAzure Data Lake Storage ドライバーのJDBC URL に設定します。これには、必要な接続プロパティが含まれています。

     Azure DataLakeStorage 接続プロパティの取得・設定方法

     Azure DataLakeStorage Gen 1 への接続

     Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

     • Schema：ADLSGen1 を指定。
     • Account：アカウント名に設定。
     • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
     • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

     Azure DataLakeStorage Gen 1 への認証

     Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

     Azure DataLakeStorage Gen 2 への接続

     Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

     • Schema：ADLSGen2 に設定。
     • Account：ストレージアカウント名に設定。
     • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
     • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

     Azure DataLakeStorage Gen 2 への認証

     Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

     アクセスキーを使用した認証

     アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

     Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

     1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
     2. 設定で「アクセスキー」を選択します。
     3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

     共有アクセス署名（SAS）

     共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.adls.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

   以下は、一般的な追加の接続文字列プロパティです。

   JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.adls.ADLSDriver;URL={jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;};
6. ODBC データソースが選択されていないことを確認し、(これによりMicroStrategy がトリガーされ、追加の接続文字列パラメータを使用してデータベースインスタンスが構築されます)［OK］をクリックします。
7. ［OK］をクリックし、データベースインスタンスウィザードを閉じます。
8. ［Project Source］でプロジェクトを右クリックし、［Project configuration］を開きます。
9. ［Database Instances］に移動し、新しく作成したデータベースインスタンスを選択して［OK］をクリックします。
10. MicroStrategy Developerを閉じ、接続されたMicroStrategy Intelligence Server を再起動してデータベースインスタンスの作成を完了します。

データベースインスタンスを構成すると、Warehouse Catalog およびData Import からAzure Data Lake Storage に接続できるようになります。

Warehouse Catalog からAzure Data Lake Storage データに接続する

JDBC Driver for ADLS に基づいてデータベースインスタンスを作成すると、Warehouse Catalog のデータに接続できます。

1. プロジェクトを選択し、［Schema］->［Warehouse Catalog］をクリックします。
2. ［Read Settings for the Catalog］で［Settings］をクリックし、スキーマを取得するためのクエリを設定します。
   • テーブルのリストを取得するには、以下のクエリを使用します。 SELECT * FROM SYS_TABLES
   • 選択したテーブルの例のリストを取得するには、以下のクエリを使用します。 SELECT DISTINCT CatalogName NAME_SPACE, TableName TAB_NAME, ColumnName COL_NAME, DataTypeName DATA_TYPE, Length DATA_LEN, NumericPrecision DATA_PREC, NumericScale DATA_SCALE FROM SYS_TABLECOLUMNS WHERE TableName IN (#TABLE_LIST#) ORDER BY 1,2,3
3. プロジェクトで使用するテーブルを選択します。

MicroStrategy のCData JDBC Driver for ADLS を使用すると、Azure Data Lake Storage で安定したビジュアライズとレポートを簡単に作成できます。詳細については、MictroStrategy でのAzure Data Lake Storage への接続やMicroStrategy Desktop でのAzure Data Lake Storage への接続 に関するほかの記事をお読みください。

NoteJDBC Driver を使用して接続するには、3層から4層のアーキテクチャが必要です。