Apache Spark でReckon Accounts Hosted データをSQL で操作する方法

こんにちは！リードエンジニアの杉本です。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for ReckonAccountsHosted と組み合わせると、Spark はリアルタイムでReckon Accounts Hosted データに連携して処理ができます。本記事では、Spark シェルに接続してReckon Accounts Hosted をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムReckon Accounts Hosted と対話するための高いパフォーマンスを提供します。Reckon Accounts Hosted に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接Reckon Accounts Hosted にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してReckon Accounts Hosted を操作して分析できます。

CData JDBC Driver for ReckonAccountsHosted をインストール

まずは、本記事右側のサイドバーからReckonAccountsHosted JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してReckon Accounts Hosted データに接続

1. ターミナルを開き、Spark shell でCData JDBC Driver for ReckonAccountsHosted JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for ReckonAccountsHosted/lib/cdata.jdbc.reckonaccountshosted.jar
2. Shell でJDBC URL を使ってReckon Accounts Hosted に接続し、SQL Context load() function でテーブルを読み込みます。

   CData 製品 はOAuth 経由でReckon Accounts Hosted にリクエストを作成します。次の接続プロパティを指定します。

   • User： 必須。企業ファイルのユーザー名。
   • Password： 必須。企業ファイルのパスワード。
   • CompanyFile: 必須。企業ファイルへのパス。
   • InitiateOAuth：アクセストークンの処理をドライバーに任せる場合はGETANDREFRESH に設定。
   • CountryVersion：デフォルトは、2021.R2.AU です。

   カスタムOAuth アプリケーションを作成し、以下の追加の接続プロパティを指定することもできます。

   • SubscriptionKey：Azure Platform 上のReckon Portal から取得したAPI キー。
   • OAuthClientId：アプリケーション設定のクライアントID に設定。
   • OAuthClientSecret：アプリケーション設定のクライアントシークレットに設定。
   • CallbackURL：カスタムOAuth アプリのリダイレクトURI。

   CData は、OAuth デスクトップ認証を簡略化する埋め込みOAuth アプリケーションを提供します。ほかのOAuth 認証方法（Web、ヘッドレスなど）、カスタムOAuth アプリケーションの作成、その理由などについては、ヘルプドキュメントを参照してください。

   組み込みの接続文字列デザイナー

   JDBC 接続文字列URL の作成には、Reckon Accounts Hosted JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

   java -jar cdata.jdbc.reckonaccountshosted.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   scala> val reckonaccountshosted_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:reckonaccountshosted:SubscriptionKey=my_subscription_key;CountryVersion=2021.R2.AU;CompanyFile=Q:/CompanyName.QBW;User=my_user;Password=my_password;CallbackURL=http://localhost:33333;OAuthClientId=my_oauth_client_id;OAuthClientSecret=my_oauth_client_secret;").option("dbtable","Accounts").option("driver","cdata.jdbc.reckonaccountshosted.ReckonAccountsHostedDriver").load()
3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。

4. Reckon Accounts Hosted をテンポラリーテーブルとして登録します:

   scala> reckonaccountshosted_df.registerTable("accounts")

5. データに対して、次のようなカスタムSQL クエリを実行します。

   scala> reckonaccountshosted_df.sqlContext.sql("SELECT Name, Balance FROM Accounts WHERE IsActive = true").collect.foreach(println)

   コンソールで、次のようなReckon Accounts Hosted データを取得できました！これでReckon Accounts Hosted との連携は完了です。

CData JDBC Driver for ReckonAccountsHosted をApache Spark で使って、Reckon Accounts Hosted に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。