CData BizTalk Adapter for Spark のSQL コマンドスキーマを作成する方法

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark BizTalk Adapter

BizTalk Adapters は、BizTalk Server の標準オーケストレーション内で簡単にApache Spark にリアルタイム接続できるパワフルなツールです。

Apache Spark Adapters を使ってApache Spark を同期できます。 データ同期、ローカルバックアップ、ワークフローの自動化などに最適!



CData BizTalk アダプターは、XML としてデータを返すことにより、BizTalk でのSpark の処理を容易にします。BizTalk でアクセスしたいテーブルのXML スキーマファイル作成することで、このデータをBizTalk オーケストレーションで使用できます。

この記事では、CData BizTalk アダプターを使用して取得したSpark を処理するスキーマを作り出す方法を紹介します。SELECT コマンド用のスキーマを作成します。

CData BizTalk Adapter for Spark を使用して、Spark に標準のSQL コマンドを実行できます。

プロジェクトのSpark 用アダプターを追加する

以下のステップに従って、アダプターをBizTalk サーバープロジェクトに追加します。

  1. 未作成の場合は、Visual Studio で新規のBizTalk サーバープロジェクトを作成します。
  2. [Solution Explorer] の[project] で右クリックし、[Add] -> [Add Generated Items] と進みます。
  3. [resulting dialog box] の[Add Adapter Metadata] を選択します。
  4. 表示される[Add Adapter] ウィザードで、リストからアダプターを選択します。
  5. [Port menu] では、選択を空白のままにします。そのトランスポートタイプに合わせて構成されたアダプターを持つ受信場所や送信ポートを選択することもできます。

SQL コマンド用のスキーマを作り出す

[Add Adapter] ウィザードでアダプターを選択すると、[Schema] ウィザードが表示されます。以下のステップに従って接続プロパティを構成し、コマンドの結果のメタデータを取得します。

  1. BizTalk アプリで構成済みのアダプターを選択しなかった場合は、[Connection String] ページで、認証資格情報とその他の接続プロパティを入力します。下は一般的な接続文字列です。

    Server=127.0.0.1;

    SparkSQL への接続

    SparkSQL への接続を確立するには以下を指定します。

    • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
    • Port:SparkSQL インスタンスへの接続用のポートに設定。
    • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
    • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

    Databricks への接続

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • Port:443
    • TransportMode:HTTP
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • UseSSL:True
    • AuthScheme:PLAIN
    • User:'token' に設定。
    • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

  2. 次ページ[Schema Information] の[General Options] セクションで、アダプターの構成に応じて[Send Port] または[Receive Location] を選択します。
  3. 結果セット全体のスキーマを作成するには、[Message Mode]メニューの[Single Message] オプションを選択します。結果セットの行ごとに1つずつのスキーマを作成したい場合は、[Message Per Row] オプションを選択し、メッセージのルート要素が[row] であることを確認します。
  4. [Command Type] メニューで、SQL コマンドを選択します。
  5. [Statement Information] ページの[SQL Command Text box] に、SQL コマンドを入力します。(受信場所や送信ポートが構成してある場合は、そのSQL コマンドがボックスに入力されます。)ここでは、下のクエリを使用します。

    SELECT * FROM Customers

  6. ウィザードで表示される概要の設定を確認し、[Finish] をクリックしてschema.xsd ファイルを作成します。

スキーマの処理

簡易版BizTalk アプリでスキーマを利用する場合、 こちらのチュートリアルをご覧ください。