ColdFusion でSpark データに連携する方法

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Apache Spark JDBC Driver

Apache Spark 連携のパワフルなJava アプリケーションを素早く作成して配布。



ColdFusion の標準的なデータアクセスコードでSpark にデータ連携。



CData JDBC Driver for Spark は、ColdFusion のrapid development tools を使ってSpark への接続をシームレスに統合します。この記事では、ColdFusion でSpark に連携しSpark テーブルをクエリする方法を説明します。

※製品について詳しい情報をご希望の方は以下からお進みください。

ColdFusion にSpark のJDBC データソースを作成

下記の手順に従ってSpark データソースを作成し、ColdFusion アプリケーションへの連携を可能にします。

  1. ドライバーのJAR および.lic ファイルを、インストールディレクトリから C:\ColdFusion10\cfusion\wwwroot\WEB-INF\lib にコピーします。

    ドライバーのJAR およびlicense はインストールディレクトリの[lib]サブフォルダに配置されています。

  2. ドライバーをデータソースとして追加:

    ColdFusion Administrator インターフェースで[Data & Services]ノードを展開し、[Data Sources]>[Add New Data Source]をクリックします。ダイアログが表示されたら、以下のプロパティを入力します。

    • Data Source Name:データソースの名前を入力。名前はColdFusion 変数命名規則に一致する必要があります。
    • Driver:[Other]を選択。
  3. JDBC Driver のプロパティ設定:

    • JDBC URL:JDBC URL に接続プロパティを入力。JDBC のURL は以下で始まり jdbc:sparksql: 次に、セミコロン区切りでname=value ペアの接続プロパティを入力します。以下は一般的なJDBC URL です:

      jdbc:sparksql:Server=127.0.0.1;

      SparkSQL への接続

      SparkSQL への接続を確立するには以下を指定します。

      • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
      • Port:SparkSQL インスタンスへの接続用のポートに設定。
      • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
      • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

      Databricks への接続

      Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

      • Server:Databricks クラスターのサーバーのホスト名に設定。
      • Port:443
      • TransportMode:HTTP
      • HTTPPath:Databricks クラスターのHTTP パスに設定。
      • UseSSL:True
      • AuthScheme:PLAIN
      • User:'token' に設定。
      • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

    • Driver Class:ドライバーのクラスを入力。ドライバークラスは、以下のとおりです。cdata.jdbc.sparksql.SparkSQLDriver
    • Driver Name:ユーザー定義のドライバー名を入力。ドライバー名はColdFusion Administrator コンソールでデータソースを認識するために使われます。
    • Username:認証するユーザーネームを入力。
    • Password:認証するパスワードを入力。

[Actions] カラムのCData Spark データソースを有効にして、接続をテストできます。ステータスがOK になったら、Spark データソースを使うことができます。

クエリを実行

下記の手順に従って、Spark の基準に合ったレコードをクエリし、結果をHTML テーブルに出力する簡単なアプリケーションを作成します。

  1. 新規ColdFusion markup ファイルでクエリを定義:C:\ColdFusion10\cfusion\wwwroot directory for ColdFusion の.cfm ファイルに次のコードを入力:

    <cfquery name="SparkSQLQuery" dataSource="CDataSparkSQL"> SELECT * FROM Customers </cfquery>

    Note:CData JDBC Drivers は、cfqueryparam エレメントを使ってパラメータ化されたクエリもサポートします。例:

    <cfquery name="SparkSQLQuery" dataSource="CDataSparkSQL"> SELECT * FROM Customers WHERE Country = <cfqueryparam>US</cfqueryparam> </cfquery>
  2. CFTable を使ってHTML にテーブルを出力:

    <cftable query = "SparkSQLQuery" border = "1" colHeaders colSpacing = "2" headerLines = "2" HTMLTable maxRows = "500" startRow = "1"/> <cfcol header="<b>City</b>" align="Left" width=4 text="#City#"></cfcol> <cfcol header="<b>Balance</b>" align="Left" width=7 text="#Balance#"></cfcol> </cftable>
  3. コードを実行してグリッドを表示します。

HTML 部分を含む以下のフルコードが利用できます。

<html> <head><title>Hello World</title></head> <body> <cfoutput>#ucase("hello world")#</cfoutput> <cfquery name="SparkSQLQuery" dataSource="CDataSparkSQL"> SELECT * FROM Customers </cfquery> <cftable query = "SparkSQLQuery" border = "1" colHeaders colSpacing = "2" headerLines = "2" HTMLTable maxRows = "500" startRow = "1"> <cfcol header="<b>City</b>" align="Left" width=4 text="#City#"></cfcol> <cfcol header="<b>Balance</b>" align="Left" width=7 text="#Balance#"></cfcol> </cftable> </body> </html>