Node.js でSpark を仮想MySQL データベースとしてクエリ

詳細情報をご希望ですか?

製品について詳細情報や無償トライアルをご案内します:

CData Connect



Node.js からSpark に対してMySQL データベースとしてクエリを実行。

CData Connect Cloud を使って、MySQL インターフェースでSpark をクエリすることができます。この記事では、Connect Cloud で仮想Spark データベースを作成し、Node.js でSpark をクエリする連携方法を説明します。

CData Connect Cloud は、Spark データのクラウドto クラウドのインターフェースを仮想MySQL として提供し、Node.js からRDB のようにデータをSQL でクエリすることができます。CData Connect Cloud がNode.js から発行されるSQL クエリ(フィルタリングやJOIN も可能)をパースしてSpark に送り、Node.js アプリ にSpark からのデータを返します。インテリジェントなサーバーサイドプロセスで、多様なクエリをパフォーマンス良く利用できます。

Spark の仮想MySQL データベースを作成

CData Connect Cloud は、直観的なPoint-and-click インターフェースでデータソースへの接続およびAPI エンドポイント作成を行います。

  1. Connect Cloud にログインして、[Databases]をクリックします。
  2. 利用できるデータソースアイコンから"Spark" を選択します。
  3. Spark に接続するために必要なプロパティを入力します。

    SparkSQL への接続

    SparkSQL への接続を確立するには以下を指定します。

    • Server:SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
    • Port:SparkSQL インスタンスへの接続用のポートに設定。
    • TransportMode:SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
    • AuthScheme:使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

    Databricks への接続

    Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note:必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

    • Server:Databricks クラスターのサーバーのホスト名に設定。
    • Port:443
    • TransportMode:HTTP
    • HTTPPath:Databricks クラスターのHTTP パスに設定。
    • UseSSL:True
    • AuthScheme:PLAIN
    • User:'token' に設定。
    • Password:個人用アクセストークンに設定(値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます)。

  4. Test Database]をクリックします。
  5. [Privileges]->[ Add]をクリックして、新しいユーザーを追加し、適切な権限を指定します。

これで、Spark の仮想データベースが作成でき、MySQL クライアントからの連携が可能になりました。

Spark データをNode.js からクエリ

以下のサンプルは、Node.js のMySQL モジュールからSpark への接続を定義し、クエリを実行します。以下の情報が必要です:

  • Host nameaddressport:Connect Cloud のインスタンス名(myinstance.cdatacloud.net)とポート(3306)です。
  • Username およびpassword:Connect Cloud で登録された権限のあるユーザーおよびそのパスワード。
  • Database name:Spark (sparkdb) のデータベース名。

Spark に接続して、以下のコードでクエリを実行します:

var mysql      = require('mysql');
var fs         = require('fs');
var connection = mysql.createConnection({
  host     : 'myinstance.cdatacloud.net',
  database : 'sparkdb',
  port	   :'3306',
  user     : 'admin',
  password : 'password',
  ssl      : {
    ca : fs.readFileSync('C:/certs/myCA.pem')
  }
});
connection.connect();
connection.query('SELECT * FROM Customers', function(err, rows, fields) {
  if (err) throw err;
  console.log(rows);
});

connection.end();