Active Query Builder を使用してSpark 駆動型アプリを素早く開発

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark ODBC Driver

Apache Spark ODBC Driver は、ODBC 接続をサポートするさまざまなアプリケーションからApache Spark データへの接続を実現するパワフルなツールです。

標準SQL とSpark SQL をマッピングして、SQL-92 で直接Apache Spark にアクセス。



Active Query Builder SQL インターフェースビルダーと、.NET データアクセスの簡単さを活用し、データ駆動型のWinForms とASP.NET アプリを作成します。

SQL インターフェースを介してSpark を公開する標準.NET を記述します。Active Query Builder は、開発者がSQL インターフェースを作成するのに役立ちます。CData ODBC Driver for Spark は、Spark への標準ベースのアクセスを可能にします。この統合では、ODBC ドライバーとActive Query Builder オブジェクト間のブリッジとして、Microsoft ADO.NET Provider for ODBC を使用してビジュアルSQL コンポーザーを構築します。

ODBC Data Source としてSpark に接続

未指定の場合は、初めにODBC DSN (data source name) で接続プロパティを指定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および構成できます。

SparkSQL への接続

SparkSQL への接続を確立するには以下を指定します。

  • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
  • Port:SparkSQL インスタンスへの接続用のポートに設定。
  • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
  • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

Databricks への接続

Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

  • Server:Databricks クラスターのサーバーのホスト名に設定。
  • Port:443
  • TransportMode:HTTP
  • HTTPPath:Databricks クラスターのHTTP パスに設定。
  • UseSSL:True
  • AuthScheme:PLAIN
  • User:'token' に設定。
  • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

SQL を使用してSpark と対話

以下のステップに従ってWinForms ビジュアルクエリビルダーを作成します。

  1. 新しいWindows Forms プロジェクトで、QueryBuilder を[Toolbox]からフォームにドラッグします。
  2. ActiveQueryBuilder.ODBCMetadataProvider への参照を追加します。
  3. OdbcConnection を追加し、最初のセクションで作成したDSN に接続文字列を設定します。 OdbcConnection connection = new OdbcConnection(); connection.ConnectionString = "DSN=SparkSQL"
  4. ODBCMetadataProvider インスタンスとGeneralSyntaxProvider インスタンスを初期化し、ODBCMetadataProvider オブジェクトのConnection プロパティをOdbcConnection に設定します。 GenericSyntaxProvider syntaxProvider = new GenericSyntaxProvider(); ODBCMetadataProvider metadataProvider = new ODBCMetadataProvider(); metadataProvider.Connection = connection;
  5. QueryBuilder オブジェクトの、対応するMetadataProvider プロパティとSyntaxProvider プロパティを設定します。 queryBuilder1.MetadataProvider = metadataProvider; queryBuilder1.SyntaxProvider = syntaxProvider;
  6. QueryBuilder クラスのInitiatelizeDatabaseSchemaTree メソッドを呼び出してSpark メタデータを取得し、Spark テーブルのツリーデビューを生成します。 queryBuilder1.InitializeDatabaseSchemaTree();
  7. QueryBuilder を作成したら、それをTextBox に接続するか、使用する場合は、ActiveQueryBuilder SQLTextEditor に接続しますSQLTextEditor をデザイナにドラッグし、ドロップします。

  8. 以下のコードをSQLTextEditor のValidating イベントに追加します。 private void sqlTextEditor1_Validating(object sender, CancelEventArgs e) { try { // Update the query builder with manually edited query text: queryBuilder1.SQL = sqlTextEditor1.Text; } catch (SQLParsingException ex) { e.Cancel = true; // Set caret to error position sqlTextEditor1.SelectionStart = ex.ErrorPos.pos; // Report error MessageBox.Show(ex.Message, "Parsing error"); } }
  9. SQLUpdated イベントに以下を追加します。 private void queryBuilder1_SQLUpdated(object sender, EventArgs e) { sqlTextEditor1.Text = queryBuilder1.FormattedSQL; }
  10. これで、クエリをビジュアルに作成できます。[Columns Pane Area]のテーブルをダブルクリックすると、[entity/relationship]ダイアグラムが[Query Building Area]に表示されます。ダイアグラムで選択したカラムがクエリに追加されます。