Apache Spark でSage 300 データをSQL で操作する方法

こんにちは！リードエンジニアの杉本です。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for Sage300 と組み合わせると、Spark はリアルタイムでSage 300 データに連携して処理ができます。本記事では、Spark シェルに接続してSage 300 をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムSage 300 と対話するための高いパフォーマンスを提供します。Sage 300 に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接Sage 300 にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してSage 300 を操作して分析できます。

CData JDBC Driver for Sage300 をインストール

まずは、本記事右側のサイドバーからSage300 JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してSage 300 データに接続

1. ターミナルを開き、Spark shell でCData JDBC Driver for Sage300 JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for Sage300/lib/cdata.jdbc.sage300.jar
2. Shell でJDBC URL を使ってSage 300 に接続し、SQL Context load() function でテーブルを読み込みます。

   Sage 300 には、Sage 300 Web API で通信するための初期設定が必要となるます。

   • Sage 300 のユーザー向けのセキュリティグループを設定します。Sage 300 のユーザーに、Security Groups の下にあるbSage 300 Web API オプションへのアクセスを付与します（各モジュール毎に必要です）。
   • /Online/Web と/Online/WebApi フォルダ内のweb.config ファイルを両方編集して、AllowWebApiAccessForAdmin のキーを true 設定します。webAPI アプリプールを再起動すると設定が反映されます。
   • ユーザーアクセスを設定したら、https://server/Sage300WebApi/ をクリックして、web API へのアクセスを確認してください。

   Basic 認証を使用してSage 300 へ認証します。

   Basic 認証を使用して接続する

   Sage 300 に認証するには、次のプロパティを入力してください。プロバイダーは、クッキーを使用してSage 300 が開いたセッションを再利用することに注意してください。 そのため、資格情報はセッションを開く最初のリクエストでのみ使用されます。その後は、Sage 300 が返すクッキーを認証に使用します。

   • Url：Sage 300 をホストするサーバーのURL に設定します。Sage 300 Web API 用のURL を次のように作成してください。 {protocol}://{host-application-path}/v{version}/{tenant}/ 例えば、 http://localhost/Sage300WebApi/v1.0/-/ です。
   • User：アカウントのユーザー名に設定します。
   • Password：アカウントのパスワードに設定します。

   組み込みの接続文字列デザイナー

   JDBC 接続文字列URL の作成には、Sage 300 JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

   java -jar cdata.jdbc.sage300.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   scala> val sage300_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:sage300:User=SAMPLE;Password=password;URL=http://127.0.0.1/Sage300WebApi/v1/-/;Company=SAMINC;").option("dbtable","OEInvoices").option("driver","cdata.jdbc.sage300.Sage300Driver").load()
3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。

4. Sage 300 をテンポラリーテーブルとして登録します:

   scala> sage300_df.registerTable("oeinvoices")

5. データに対して、次のようなカスタムSQL クエリを実行します。

   scala> sage300_df.sqlContext.sql("SELECT InvoiceUniquifier, ApprovedLimit FROM OEInvoices WHERE AllowPartialShipments = Yes").collect.foreach(println)

   コンソールで、次のようなSage 300 データを取得できました！これでSage 300 との連携は完了です。

CData JDBC Driver for Sage300 をApache Spark で使って、Sage 300 に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。