Active Query Builder を使用してSpark 駆動型アプリを素早く開発

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

SQL インターフェースを介してSpark を公開する標準.NET を記述します。Active Query Builder は、開発者がSQL インターフェースを作成するのに役立ちます。CData ODBC Driver for SparkSQL は、Spark への標準ベースのアクセスを可能にします。この統合では、ODBC ドライバーとActive Query Builder オブジェクト間のブリッジとして、Microsoft ADO.NET Provider for ODBC を使用してビジュアルSQL コンポーザーを構築します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持った製品です。

1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
2. 多様なアプリケーション、ツールにSpark データを連携
3. ノーコードでの手軽な接続設定
4. 標準SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.Active Query Builder 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

未指定の場合は、初めにODBC DSN (data source name) で接続プロパティを指定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および構成できます。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

• Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：SparkSQL インスタンスへの接続用のポートに設定。
• TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

• Server：Databricks クラスターのサーバーのホスト名に設定。
• Port：443
• TransportMode：HTTP
• HTTPPath：Databricks クラスターのHTTP パスに設定。
• UseSSL：True
• AuthScheme：PLAIN
• User：'token' に設定。
• Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

SQL を使用してSpark と対話

以下のステップに従ってWinForms ビジュアルクエリビルダーを作成します。

1. 新しいWindows Forms プロジェクトで、QueryBuilder を［Toolbox］からフォームにドラッグします。
2. ActiveQueryBuilder.ODBCMetadataProvider への参照を追加します。
3. OdbcConnection を追加し、最初のセクションで作成したDSN に接続文字列を設定します。 OdbcConnection connection = new OdbcConnection(); connection.ConnectionString = "DSN=SparkSQL"
4. ODBCMetadataProvider インスタンスとGeneralSyntaxProvider インスタンスを初期化し、ODBCMetadataProvider オブジェクトのConnection プロパティをOdbcConnection に設定します。 GenericSyntaxProvider syntaxProvider = new GenericSyntaxProvider(); ODBCMetadataProvider metadataProvider = new ODBCMetadataProvider(); metadataProvider.Connection = connection;
5. QueryBuilder オブジェクトの、対応するMetadataProvider プロパティとSyntaxProvider プロパティを設定します。 queryBuilder1.MetadataProvider = metadataProvider; queryBuilder1.SyntaxProvider = syntaxProvider;
6. QueryBuilder クラスのInitiatelizeDatabaseSchemaTree メソッドを呼び出してSpark メタデータを取得し、Spark テーブルのツリーデビューを生成します。 queryBuilder1.InitializeDatabaseSchemaTree();

7. QueryBuilder を作成したら、それをTextBox に接続するか、使用する場合は、ActiveQueryBuilder SQLTextEditor に接続しますSQLTextEditor をデザイナにドラッグし、ドロップします。

8. 以下のコードをSQLTextEditor のValidating イベントに追加します。 private void sqlTextEditor1_Validating(object sender, CancelEventArgs e) { try { // Update the query builder with manually edited query text: queryBuilder1.SQL = sqlTextEditor1.Text; } catch (SQLParsingException ex) { e.Cancel = true; // Set caret to error position sqlTextEditor1.SelectionStart = ex.ErrorPos.pos; // Report error MessageBox.Show(ex.Message, "Parsing error"); } }
9. SQLUpdated イベントに以下を追加します。 private void queryBuilder1_SQLUpdated(object sender, EventArgs e) { sqlTextEditor1.Text = queryBuilder1.FormattedSQL; }

10. これで、クエリをビジュアルに作成できます。［Columns Pane Area］のテーブルをダブルクリックすると、［entity/relationship］ダイアグラムが［Query Building Area］に表示されます。ダイアグラムで選択したカラムがクエリに追加されます。