Apache Spark でSybase データをSQL で操作

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Sybase JDBC Driver

Sybase データベースに連携するJava アプリケーションを簡単に構築。



CData JDBC ドライバーを使用して、Apache Spark でSybase にデータ連携。

Apache Spark は大規模データ処理のための高速で一般的なエンジンです。CData JDBC Driver for Sybase と組み合わせると、Spark はリアルタイムSybase にデータ連携して処理ができます。ここでは、Spark シェルに接続してSybase をクエリする方法について説明します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムSybase と対話するための高いパフォーマンスを提供します。Sybase に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接Sybase にプッシュし、組込みSQL エンジンを使用してサポートされていない操作(SQL 関数やJOIN 操作)をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してSybase を操作して分析できます。

※製品について詳しい情報をご希望の方は以下からお進みください。

CData JDBC Driver for Sybase をインストール

CData JDBC Driver for Sybase インストーラをダウンロードし、パッケージを解凍し、JAR ファイルを実行してドライバーをインストールします。

Spark Shell を起動してSybase データに接続

  1. ターミナルを開き、Spark shell でCData JDBC Driver for Sybase JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for Sybase/lib/cdata.jdbc.sybase.jar
  2. Shell でJDBC URL を使ってSybase に接続し、SQL Context load() function でテーブルを読み込みます。

    Sybase は、Basic 認証、Kerberos 認証、LDAP 認証などの認証方法をいくつかサポートしています。

    Basic 認証を使用した接続

    次を設定してデータを認証し接続します。User およびPassword を設定してSybaseIQ 認証を使用します。

    • User:認証Sybase ユーザーのユーザー名に設定。
    • Password:認証Sybase ユーザーのパスワードに設定。
    • Server:SybaseIQ またはSAP SQL Anywhere データベースインスタンスの名前またはネットワークアドレスに設定。
    • Database:指定されたサーバーで実行されているSybaseIQ またはSAP SQL Anywhere データベースの名前に設定。

    オプションで、UseSSL をtrue に設定することにより、TLS/SSL で接続を保護できます。

    Note: 上記の本製品 設定でSAP SQL Anywhere のインスタンスに接続することもできます。

    Kerberos 認証を使用した接続

    Kerberos 認証を活用するには、次の接続プロパティを使用してそれを有効にすることから始めます。

    • AuthScheme:Kerberos に設定すると、Sybase への認証に使用されます。

    Kerberos 認証用に設定する必要がある接続プロパティに関しては、Kerberos の使用 情報を参照してください。

    以下は接続文字列の例です。

    Server=MyServer;Port=MyPort;User=SampleUser;Password=SamplePassword;Database=MyDB;Kerberos=true;KerberosKDC=MyKDC;KerberosRealm=MYREALM.COM;KerberosSPN=server-name

    LDAP 認証を使用した接続

    LDAP 認証で接続するには、LDAP 認証メカニズムを使用するようにSybase サーバーサイドを設定する必要があります。

    LDAP 用にSybase を設定したら、Basic 認証と同じクレデンシャルを使用して接続できます。

    組み込みの接続文字列デザイナー

    JDBC 接続文字列URL の作成には、Sybase JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

    java -jar cdata.jdbc.sybase.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    scala> val sybase_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:sybase:User=myuser;Password=mypassword;Server=localhost;Database=mydatabase;Charset=iso_1;").option("dbtable","Products").option("driver","cdata.jdbc.sybase.SybaseDriver").load()
  3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。
  4. Sybase をテンポラリーテーブルとして登録します:

    scala> sybase_df.registerTable("products")
  5. データに対して、次のようなカスタムSQL クエリを実行します:

    scala> sybase_df.sqlContext.sql("SELECT Id, ProductName FROM Products WHERE ProductName = Konbu").collect.foreach(println)

    You will see the results displayed in the console, similar to the following:

CData JDBC Driver for Sybase をApache Spark で使って、Sybase に対して、複雑かつハイパフォーマンスなクエリを実行できます。是非、30日の無償試用版 をダウンロードしてお試しください。