SpagoBI でAzure Data Lake Storage に連携

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData JDBC Driver for ADLS はJDBC 標準をサポートするビジネスインテリジェンスおよびデータマイニングツールからリアルタイムAzure Data Lake Storage に接続することを可能にします。この記事では、Azure Data Lake Storage をSpagoBI Studio のレポートに統合し、SpagoBI サーバーでホストする方法を説明します。

SpagoBI サーバーのJDBC ドライバーをデプロイ

以下のステップに従ってSpagoBI サーバーでJDBC data source for ADLS を作成します。

1. ドライバーJAR を%CATALINA_BASE%/lib にコピーします。これらのファイルは、インストールディレクトリのlib サブフォルダにあります。

2. Azure Data Lake Storage ドライバーリソースをコンテクストに追加します。以下のリソース定義をserver.xml の［GlobalNamingResources］要素に追加できます。 <Resource name="jdbc/adls" auth="Container" type="javax.sql.DataSource" driverclassname="cdata.jdbc.adls.ADLSDriver" factory="org.apache.tomcat.jdbc.pool.DataSourceFactory" maxactive="20" maxidle="10" maxwait="-1"/>

3. 以下のリソースリンクを追加し、Web アプリケーションへのアクセスを許可します。この記事では、SpagoBI のMETA-INF\context.xml に次の行を追加します。 <ResourceLink global="jdbc/adls" name="jdbc/adls" type="javax.sql.DataSource"/>
4. サーバーを再起動します。

SpagoBI サーバーのリソースにドライバーを追加した後、データソースを追加します。SpagoBIで［Resources］->［Data Source］->［Add］と進み、以下の情報を入力します。

• Label:ドライバーに独特の識別子を入力します。
• Description:ドライバーにディスクリプションを入力します。
• Dialect:デフォルトの方言を選択します。
• Read Only:読み取り専用オプションを選択します。このオプションは、データソースがエンドユーザーによって作成された、データセットを保存するためのデフォルトデータベースであるかどうかを決定します。
• Type:［JDBC］を選択します。
• URL:
• 必要な接続文字列プロパティを使用してJDBC URLを入力します。

  Azure DataLakeStorage 接続プロパティの取得・設定方法

  Azure DataLakeStorage Gen 1 への接続

  Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

  • Schema：ADLSGen1 を指定。
  • Account：アカウント名に設定。
  • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
  • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

  Azure DataLakeStorage Gen 1 への認証

  Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

  Azure DataLakeStorage Gen 2 への接続

  Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

  • Schema：ADLSGen2 に設定。
  • Account：ストレージアカウント名に設定。
  • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
  • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

  Azure DataLakeStorage Gen 2 への認証

  Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

  アクセスキーを使用した認証

  アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

  Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

  1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
  2. 設定で「アクセスキー」を選択します。
  3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

  共有アクセス署名（SAS）

  共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

  ビルトイン接続文字列デザイナ

  JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

  java -jar cdata.jdbc.adls.jar

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

  以下は一般的なJDBC URL です。

  jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH
• Driver:ドライバーのクラス名にcdata.jdbc.adls.ADLSDriver を入力します。

SpagoBI Studio でレポートを作成

以下のステップに従い、SpagoBI StudioでAzure Data Lake Storage に基づいたレポートを作成します。SQL クエリの結果をチャートに挿入するデータセットを作成します。次のセクションでは、このレポートをSpagoBI サーバーでホストします。

初めに、SpagoBI Studio のレポートからAzure Data Lake Storage に接続してください。

1. SpagoBI Studio で、［File］->［New］->［Project］とクリックしていき、［Business Intelligence and Reporting Tools］フォルダで［Report Project］を選択します。
2. ［File］->［New］->［Report］と進み、［Blank Report］を選択します。
3. ［Data Explorer］ビューで［Data Sources］を右クリックし、［New Data Source］をクリックします。
4. ［JDBC Data Source］を選択し、データソース名を入力します。
5. ［Manage Drivers］をクリックし、［Add］をクリックしてドライバーJAR(cdata.jdbc.adls.jar) を追加します。
6. ドライバーJAR　は、インストールディレクトリのlib サブフォルダにあります。
7. ［Driver Class］メニューでドライバークラス(cdata.jdbc.adls.ADLSDriver)を選択します。
8. ［Database URL］ボックスに、［JDBC URL］を入力します。以下は一般的な接続文字列です。 jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH 必要な接続プロパティを取得するためのガイドについては、ドライバーヘルプの［Getting Started］チャプターを見てください。

Azure Data Lake Storage に接続した後、SQL クエリの結果を含むデータセットを作成します。

1. ［DataSet］フォルダを右クリックし、［New Data Set］をクリックします。JDBC data source for ADLS を選択し、データセットの名称を入力します。
2. SQL クエリを構築します。ここでは、このクエリを使用してダッシュボードにチャートを追加します。例： SELECT FullPath, Permission FROM Resources WHERE Type = 'FILE'

データセットを使用して、レポートオブジェクトにデータを入力できます。以下のステップに従って、チャートを作成します。

1. ［Palette］ビューで、チャートをキャンバスにドラッグします。
2. ［Select Chart Type］タブで棒グラフを選択します。
3. ［Select Data］タブで［Use Data From］オプションをクリックし、メニューからAzure Data Lake Storage データセットを選択します。
4. FullPath をテーブルからx 軸の系列にドラッグします。
5. Permission をテーブルからy 軸の系列にドラッグします。

SpagoBI サーバーに関するホストAzure Data Lake Storage レポート

以下のステップに従って、SpagoBI サーバーでリアルタイムAzure Data Lake Storage に基づいてドキュメントをホストできます。前のセクションで作成したレポートをテンプレートとして使用します。レポートユーザーがリアルタイムデータにアクセスできるようにするには、サーバー上のAzure Data Lake Storage JDBC データソースに置き換えられるプレースホルダパラメータを作成します。

1. 未実行の場合、SpagoBI Studio で［Report Design］パースペクティブで開きます。
2. ［Data Explorer］ビューで［Report Parameters］フォルダを右クリックし、［New Parameter］をクリックします。url パラメータを追加し、それに空の値を割り当てます。このパラメータはSpagoBI サーバー上のJDBC データソースのプレースホルダです。
3. Azure Data Lake Storage データソースを右クリックし、［Edit］をクリックします。

4. ［Property Binding］ノードで、JDBC Driver のURL バインディングプロパティurl パラメータに設定します。プロパティのボックスをクリックします。［Category］セクションで［Report Parameters］を選択します。［Subcategory］セクションで［All］を選択し、パラメータをダブルクリックします。

   JavaScript構文に以下のように入力することもできます。

   params["url"].value

続いて、SpagoBI サーバーでレポート用の新しいドキュメントを作成します。

1. SpagoBI サーバーで、［Documents Development］->［Create Document］->［Generic Document］と進みます。［Document Details］ページが表示されます。
2. 以下の情報を入力し、ドキュメントを作成します。
   • Label:ドキュメントに独自の識別子を入力します。
   • Name:ドキュメントのわかりやすい名前を入力します。
   • Type:メニューから［Report］を選択します。
   • Engine:［BIRT Report Engine］を選択します。
   • Data Source:SpagoBI サーバーのCreate a JDBC Data Source for ADLS で作成したAzure Data Lake Storage Data Source を選択します。
3. ［Show Document Templates］セクションで、ドキュメントを格納したいフォルダを選択します。

4. ［Template］セクションで、［Choose File］をクリックします。レポートプロジェクトを含むフォルダに移動します。.rptdesign ファイルを選択します。

   Noteプロジェクトへのパスは、プロジェクトプロパティで確認できます。

5. ［Save］ボタンをクリックします。

サーバーでレポートを実行すると、プレースホルダurl パラメータがサーバーで定義されたJDBC URL に置き換えられます。