Spark JDBC ドライバーを使用したOBIEE でのSpark レポート

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for SparkSQL は、Spark へのリアルタイムアクセスをJava ベースのレポートサーバーに統合できる標準のデータベースドライバーです。この記事では、ドライバーをOracle Business Intelligence Enterprise Edition (OBIEE) にデプロイし、変更を反映するSpark に関する方法を示します。

JDBC ドライバーをデプロイ

以下のステップに従って、WebLogic のクラスパスにJDBC ドライバーを追加します。

WebLogic 12.2.1 の場合、ドライバーJAR と.lic ファイルをORACLE_HOME\user_projects\domains\MY_DOMAIN\lib のようにDOMAIN_HOME\lib に配置します。これらのファイルは、起動時にサーバーのクラスパスに追加されます。

ドライバーをクラスパスに手動で追加することもできます。これは、以前のバージョンで必要です。setDomainEnv.cmd (Windows) または setDomainEnv.sh (Unix) のPRE_CLASSPATH の前に以下を追加します。このスクリプトは、そのドメインのフォルダーのbin サブフォルダーにあります。例：ORACLE_HOME\user_projects\domains\MY_DOMAIN\bin.

DOMAIN_HOME\bitools\bin でstop コマンドとstart コマンドを実行するなど、すべてのサーバーを再起動します。

JDBC Data Source for SparkSQL の作成

JDBC ドライバーをデプロイした後、BI Publisher からJDBC データソースを作成できます。

1. BI Publisher にURL http://localhost:9502/analytics でログインし、［Administration］->［Manage BI Publisher］とクリックします。
2. ［JDBC Connection］->［Add Data Source］と進みます。
3. 以下の情報を入力します。
   • Data Source Name:ユーザーが接続を作成する名前をレポートに入力します。
   • Driver Type:SELECTOther.
   • Database DriverClass:ドライバークラスに cdata.jdbc.sparksql.SparkSQLDriver を入力します。
   • Connection String:JDBC URL を入力します。

     SparkSQL への接続

     SparkSQL への接続を確立するには以下を指定します。

     • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
     • Port：SparkSQL インスタンスへの接続用のポートに設定。
     • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
     • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

     Databricks への接続

     Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

     • Server：Databricks クラスターのサーバーのホスト名に設定。
     • Port：443
     • TransportMode：HTTP
     • HTTPPath：Databricks クラスターのHTTP パスに設定。
     • UseSSL：True
     • AuthScheme：PLAIN
     • User：'token' に設定。
     • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.sparksql.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

     以下は一般的なJDBC URL です。

     jdbc:sparksql:Server=127.0.0.1;
   • Username:ユーザー名。
   • Password:パスワード。
4. ［Security］セクションで、許可されているユーザーロールを選択します。

リアルタイムのSpark レポートを作成

リアルタイムのSpark に基づいてレポートと分析を作成できるようになります。以下のステップに従って、標準のレポートウィザードを使用してSpark への変更を反映するインタラクティブなレポートを作成します。

1. グローバルヘッダーで、［New］->［Data Model］をクリックします。
2. Diagram タブでメニューからSQL クエリを選択します。
3. クエリの名前を入力し、［Data Source］メニューで、作成したSpark JDBC データを選択します。
4. 標準のSQL を選択し、以下のようなクエリを入力します。 SELECT City, Balance FROM Customers
5. ［View Data］をクリックし、レポートの作成に使用するサンプルデータを生成します。
6. サンプルデータに含める行数を選択し、［View］をクリックして［Save As Sample Data］をクリックします。
7. ［Create Report］->［Use Data Model］とクリックします。
8. ［Guide Me］を選択し、［Select Layout］ページで含めるレポートオブジェクトを選択します。この例では、［Chart］と［Table］を選択します。
9. Balance のような数値列をy 軸の［Drop Value Here］ボックスにドロップします。City のようなディメンション列をx 軸の［Drop Label Here］ボックスにドロップします。
10. ［Refresh］をクリックしてSpark への変更を取得します。