SpagoBI でSpark に連携

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

CData JDBC Driver for SparkSQL はJDBC 標準をサポートするビジネスインテリジェンスおよびデータマイニングツールからリアルタイムSpark に接続することを可能にします。この記事では、Spark をSpagoBI Studio のレポートに統合し、SpagoBI サーバーでホストする方法を説明します。

SpagoBI サーバーのJDBC ドライバーをデプロイ

以下のステップに従ってSpagoBI サーバーでJDBC data source for SparkSQL を作成します。

1. ドライバーJAR を%CATALINA_BASE%/lib にコピーします。これらのファイルは、インストールディレクトリのlib サブフォルダにあります。

2. Spark ドライバーリソースをコンテクストに追加します。以下のリソース定義をserver.xml の［GlobalNamingResources］要素に追加できます。 <Resource name="jdbc/sparksql" auth="Container" type="javax.sql.DataSource" driverclassname="cdata.jdbc.sparksql.SparkSQLDriver" factory="org.apache.tomcat.jdbc.pool.DataSourceFactory" maxactive="20" maxidle="10" maxwait="-1"/>

3. 以下のリソースリンクを追加し、Web アプリケーションへのアクセスを許可します。この記事では、SpagoBI のMETA-INF\context.xml に次の行を追加します。 <ResourceLink global="jdbc/sparksql" name="jdbc/sparksql" type="javax.sql.DataSource"/>
4. サーバーを再起動します。

SpagoBI サーバーのリソースにドライバーを追加した後、データソースを追加します。SpagoBIで［Resources］->［Data Source］->［Add］と進み、以下の情報を入力します。

• Label:ドライバーに独特の識別子を入力します。
• Description:ドライバーにディスクリプションを入力します。
• Dialect:デフォルトの方言を選択します。
• Read Only:読み取り専用オプションを選択します。このオプションは、データソースがエンドユーザーによって作成された、データセットを保存するためのデフォルトデータベースであるかどうかを決定します。
• Type:［JDBC］を選択します。
• URL:
• 必要な接続文字列プロパティを使用してJDBC URLを入力します。

  SparkSQL への接続

  SparkSQL への接続を確立するには以下を指定します。

  • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  • Port：SparkSQL インスタンスへの接続用のポートに設定。
  • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

  Databricks への接続

  Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

  • Server：Databricks クラスターのサーバーのホスト名に設定。
  • Port：443
  • TransportMode：HTTP
  • HTTPPath：Databricks クラスターのHTTP パスに設定。
  • UseSSL：True
  • AuthScheme：PLAIN
  • User：'token' に設定。
  • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

  ビルトイン接続文字列デザイナ

  JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

  java -jar cdata.jdbc.sparksql.jar

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

  

  以下は一般的なJDBC URL です。

  jdbc:sparksql:Server=127.0.0.1;
• Driver:ドライバーのクラス名にcdata.jdbc.sparksql.SparkSQLDriver を入力します。

SpagoBI Studio でレポートを作成

以下のステップに従い、SpagoBI StudioでSpark に基づいたレポートを作成します。SQL クエリの結果をチャートに挿入するデータセットを作成します。次のセクションでは、このレポートをSpagoBI サーバーでホストします。

初めに、SpagoBI Studio のレポートからSpark に接続してください。

1. SpagoBI Studio で、［File］->［New］->［Project］とクリックしていき、［Business Intelligence and Reporting Tools］フォルダで［Report Project］を選択します。
2. ［File］->［New］->［Report］と進み、［Blank Report］を選択します。
3. ［Data Explorer］ビューで［Data Sources］を右クリックし、［New Data Source］をクリックします。
4. ［JDBC Data Source］を選択し、データソース名を入力します。
5. ［Manage Drivers］をクリックし、［Add］をクリックしてドライバーJAR(cdata.jdbc.sparksql.jar) を追加します。
6. ドライバーJAR　は、インストールディレクトリのlib サブフォルダにあります。
7. ［Driver Class］メニューでドライバークラス(cdata.jdbc.sparksql.SparkSQLDriver)を選択します。
8. ［Database URL］ボックスに、［JDBC URL］を入力します。以下は一般的な接続文字列です。 jdbc:sparksql:Server=127.0.0.1; 必要な接続プロパティを取得するためのガイドについては、ドライバーヘルプの［Getting Started］チャプターを見てください。

Spark に接続した後、SQL クエリの結果を含むデータセットを作成します。

1. ［DataSet］フォルダを右クリックし、［New Data Set］をクリックします。JDBC data source for SparkSQL を選択し、データセットの名称を入力します。
2. SQL クエリを構築します。ここでは、このクエリを使用してダッシュボードにチャートを追加します。例： SELECT City, Balance FROM Customers

データセットを使用して、レポートオブジェクトにデータを入力できます。以下のステップに従って、チャートを作成します。

1. ［Palette］ビューで、チャートをキャンバスにドラッグします。
2. ［Select Chart Type］タブで棒グラフを選択します。
3. ［Select Data］タブで［Use Data From］オプションをクリックし、メニューからSpark のデータセットを選択します。
4. City をテーブルからx 軸の系列にドラッグします。
5. Balance をテーブルからy 軸の系列にドラッグします。

SpagoBI サーバーに関するホストSpark レポート

以下のステップに従って、SpagoBI サーバーでリアルタイムSpark に基づいてドキュメントをホストできます。前のセクションで作成したレポートをテンプレートとして使用します。レポートユーザーがリアルタイムデータにアクセスできるようにするには、サーバー上のSpark JDBC データソースに置き換えられるプレースホルダパラメータを作成します。

1. 未実行の場合、SpagoBI Studio で［Report Design］パースペクティブで開きます。
2. ［Data Explorer］ビューで［Report Parameters］フォルダを右クリックし、［New Parameter］をクリックします。url パラメータを追加し、それに空の値を割り当てます。このパラメータはSpagoBI サーバー上のJDBC データソースのプレースホルダです。
3. Spark のデータソースを右クリックし、［Edit］をクリックします。

4. ［Property Binding］ノードで、JDBC Driver のURL バインディングプロパティurl パラメータに設定します。プロパティのボックスをクリックします。［Category］セクションで［Report Parameters］を選択します。［Subcategory］セクションで［All］を選択し、パラメータをダブルクリックします。

   JavaScript構文に以下のように入力することもできます。

   params["url"].value

続いて、SpagoBI サーバーでレポート用の新しいドキュメントを作成します。

1. SpagoBI サーバーで、［Documents Development］->［Create Document］->［Generic Document］と進みます。［Document Details］ページが表示されます。
2. 以下の情報を入力し、ドキュメントを作成します。
   • Label:ドキュメントに独自の識別子を入力します。
   • Name:ドキュメントのわかりやすい名前を入力します。
   • Type:メニューから［Report］を選択します。
   • Engine:［BIRT Report Engine］を選択します。
   • Data Source:SpagoBI サーバーのCreate a JDBC Data Source for SparkSQL で作成したSpark Data Source を選択します。
3. ［Show Document Templates］セクションで、ドキュメントを格納したいフォルダを選択します。

4. ［Template］セクションで、［Choose File］をクリックします。レポートプロジェクトを含むフォルダに移動します。.rptdesign ファイルを選択します。

   Noteプロジェクトへのパスは、プロジェクトプロパティで確認できます。

5. ［Save］ボタンをクリックします。

サーバーでレポートを実行すると、プレースホルダurl パラメータがサーバーで定義されたJDBC URL に置き換えられます。