MicroStrategy でのCData JDBC Driver for Spark の使用

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark JDBC Driver

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。



CData JDBC Driver for Spark を使用してMicroStrategy Developer のSpark に接続します。

MicroStrategy は、データ主導のイノベーションを可能にする、モビリティプラットフォームです。MicroStrategy をCData JDBC Driver for Spark とペアリングすると、MicroStrategy からライブSpark へのデータベースのようなアクセスが得られ、レポート機能と分析機能が拡張されます。この記事では、MicroStrategy Developer でSpark のデータベースインスタンスを作成し、Spark のWarehouse Catalog を作成します。

CData JDBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、MicroStrategy でライブSpark と対話するための圧倒的なパフォーマンスを提供します。MicroStrategy からSpark に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をSpark に直接プッシュし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブのMicroStrategy データタイプを使用してSpark を視覚化および分析できます。

※製品について詳しい情報をご希望の方は以下からお進みください。

MicroStrategy Developer のSpark に接続

CData JDBC Driver for Spark に基づくデータベースインスタンスを追加することにより、MicroStrategy Developer のSpark に接続できます。* 開始する前に、MicroStrategy Developer のインスタンスが接続されているMicroStrategy Intelligence Server をホストとするマシンにJDBC Driver for Spark をインストールする必要があります。

  1. MicroStrategy Developer を開き、[Project Source]を選択します。
  2. [Administration]->[Configuration Managers]->[Database Instances]と進み、右クリックして新しいインスタンスを追加します。
  3. インスタンスに名前を付け、データベース接続タイプとしてGeneric DBMS を選択し、新しいデータベース接続を作成します。
  4. データベース接続ウィザードで接続に名前を付け、新しいデータベースログイン名を作成してSpark のユーザーとパスワードを設定します。
  5. 接続ウィザードの[Advanced]タブで、追加の接続文字列パラメータを以下のように設定します。
    • JDBC キーワードを接続文字列に追加します。
    • MSTR_JDBC_JAR_FOLDER をJDBC ドライバーのJAR ファイルを含むディレクトリのパスに設定します。(C:\Program Files\CData JDBC Driver for Spark\lib\ on Windows.)
    • DRIVER をドライバークラスであるcdata.jdbc.sparksql.SparkSQLDriver に設定します。
    • URL をSpark ドライバーのJDBC URL に設定します。これには、必要な接続プロパティが含まれています。

      SparkSQL への接続

      SparkSQL への接続を確立するには以下を指定します。

      • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
      • Port:SparkSQL インスタンスへの接続用のポートに設定。
      • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
      • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

      Databricks への接続

      Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

      • Server:Databricks クラスターのサーバーのホスト名に設定。
      • Port:443
      • TransportMode:HTTP
      • HTTPPath:Databricks クラスターのHTTP パスに設定。
      • UseSSL:True
      • AuthScheme:PLAIN
      • User:'token' に設定。
      • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

      ビルトイン接続文字列デザイナ

      JDBC URL の構成については、Spark JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

      java -jar cdata.jdbc.sparksql.jar

      接続プロパティを入力し、接続文字列をクリップボードにコピーします。

      JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

    以下は、一般的な追加の接続文字列プロパティです。

    JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.sparksql.SparkSQLDriver;URL={jdbc:sparksql:Server=127.0.0.1;};
  6. ODBC データソースが選択されていないことを確認し、(これによりMicroStrategy がトリガーされ、追加の接続文字列パラメータを使用してデータベースインスタンスが構築されます)[OK]をクリックします。
  7. [OK]をクリックし、データベースインスタンスウィザードを閉じます。
  8. [Project Source]でプロジェクトを右クリックし、[Project configuration]を開きます。
  9. [Database Instances]に移動し、新しく作成したデータベースインスタンスを選択して[OK]をクリックします。
  10. MicroStrategy Developerを閉じ、接続されたMicroStrategy Intelligence Server を再起動してデータベースインスタンスの作成を完了します。

データベースインスタンスを構成すると、Warehouse Catalog およびData Import からSpark に接続できるようになります。

Warehouse Catalog からSpark データに接続する

JDBC Driver for Spark に基づいてデータベースインスタンスを作成すると、Warehouse Catalog のデータに接続できます。

  1. プロジェクトを選択し、[Schema]->[Warehouse Catalog]をクリックします。
  2. [Read Settings for the Catalog]で[Settings]をクリックし、スキーマを取得するためのクエリを設定します。
    • テーブルのリストを取得するには、以下のクエリを使用します。 SELECT * FROM SYS_TABLES
    • 選択したテーブルの例のリストを取得するには、以下のクエリを使用します。 SELECT DISTINCT CatalogName NAME_SPACE, TableName TAB_NAME, ColumnName COL_NAME, DataTypeName DATA_TYPE, Length DATA_LEN, NumericPrecision DATA_PREC, NumericScale DATA_SCALE FROM SYS_TABLECOLUMNS WHERE TableName IN (#TABLE_LIST#) ORDER BY 1,2,3
  3. プロジェクトで使用するテーブルを選択します。

MicroStrategy のCData JDBC Driver for Spark を使用すると、Spark で安定したビジュアライズとレポートを簡単に作成できます。詳細については、MictroStrategy でのSpark への接続MicroStrategy Desktop でのSpark への接続 に関するほかの記事をお読みください。


NoteJDBC Driver を使用して接続するには、3層から4層のアーキテクチャが必要です。