製品をチェック

Zuora Driver の30日間無償トライアルをダウンロード

 ダウンロードはこちら

製品の詳細

Zuora アイコン Zuora JDBC Driver 相談したい

Zuora データを組み込んだパワフルなJava アプリケーションを短時間・低コストで作成して配布できます。

Apache Spark でZuora データをSQL で操作する方法

CData JDBC ドライバーを使用して、Apache Spark でZuora にデータ連携。

杉本和也
リードエンジニア

最終更新日:2023-09-04
zuora ロゴ

CData

jdbc ロゴ画像
Apache Spark ロゴ

こんにちは!リードエンジニアの杉本です。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for Zuora と組み合わせると、Spark はリアルタイムでZuora データに連携して処理ができます。本記事では、Spark シェルに接続してZuora をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムZuora と対話するための高いパフォーマンスを提供します。Zuora に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接Zuora にプッシュし、組込みSQL エンジンを使用してサポートされていない操作(SQL 関数やJOIN 操作)をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してZuora を操作して分析できます。

CData JDBC Driver for Zuora をインストール

まずは、本記事右側のサイドバーからZuora JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してZuora データに接続

  1. ターミナルを開き、Spark shell でCData JDBC Driver for Zuora JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for Zuora/lib/cdata.jdbc.zuora.jar
  2. Shell でJDBC URL を使ってZuora に接続し、SQL Context load() function でテーブルを読み込みます。

    Zuora はユーザー認証にOAuth 標準を使用しています。OAuth 認証ついて詳しくは、オンラインヘルプドキュメントを参照してください。

    Tenant プロパティの設定

    プロバイダへの有効な接続を作成するには、アカウントの設定と合致するテナント値を1つ選択する必要があります。以下は、利用可能なオプションのリストです。

    • USProduction:リクエストはhttps://rest.zuora.com に送信されます。
    • USAPISandbox:リクエストはhttps://rest.apisandbox.zuora.com に送信されます。
    • USPerformanceTest:リクエストはhttps://rest.pt1.zuora.com に送信されます。
    • EUProduction:リクエストはhttps://rest.eu.zuora.com に送信されます。
    • EUSandbox:リクエストはhttps://rest.sandbox.eu.zuora.com に送信されます。

    デフォルトではUSProduction テナントを使用します。

    Zuora サービスの選択

    データクエリとAQuA API の2つのZuora サービスを使用します。デフォルトでは、ZuoraServiceAQuADataExport に設定されています。

    DataQuery

    データクエリ機能は、非同期の読み取り専用SQL クエリを実行することで、Zuora テナントからのデータのエクスポートを実現します。 このサービスは、素早く軽量なSQL クエリでの使用を推奨します。

    制限

    • フィルタ適用後の、テーブルごとの入力レコードの最大数: 1,000,000
    • 出力レコードの最大数: 100,000
    • テナントごとの、実行用に送信される同時クエリの最大数: 5
    • テナントごとの、同時クエリの制限に達した後に実行用に送信され、キューに追加されるクエリの最大数: 10
    • 1時間単位での、各クエリの最大処理時間: 1
    • GB 単位での、各クエリに割り当てられるメモリの最大サイズ: 2
    • Index Join を使用する際のインデックスの最大値。言い換えれば、Index Join を使用する際にWHERE 句で使われる一意の値に基づいた、左のテーブルから返されるレコードの最大数: 20.000

    AQuADataExport

    AQuA API のエクスポートは、すべてのオブジェクト(テーブル)のすべてのレコードをエクスポートするように設計されています。AQuA のクエリジョブには以下の制限があります。

    制限

    • AQuA のジョブ内のクエリが8時間以上実行されている場合、ジョブは自動的に停止されます。
    • 停止されたAQuA のジョブは3回再試行可能で、その後失敗として返されます。

    組み込みの接続文字列デザイナー

    JDBC 接続文字列URL の作成には、Zuora JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

    java -jar cdata.jdbc.zuora.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    scala> val zuora_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:zuora:OAuthClientID=MyOAuthClientId;OAuthClientSecret=MyOAuthClientSecret;Tenant=USProduction;ZuoraService=DataQuery;").option("dbtable","Invoices").option("driver","cdata.jdbc.zuora.ZuoraDriver").load()
  3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。
  4. Zuora をテンポラリーテーブルとして登録します:

    scala> zuora_df.registerTable("invoices")
  5. データに対して、次のようなカスタムSQL クエリを実行します。

    scala> zuora_df.sqlContext.sql("SELECT Id, BillingCity FROM Invoices WHERE BillingState = CA").collect.foreach(println)

    コンソールで、次のようなZuora データを取得できました!これでZuora との連携は完了です。

    Zuora をApache Spark から取得

CData JDBC Driver for Zuora をApache Spark で使って、Zuora に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。