Python でSage 300 データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for Sage300 とpetl フレームワークを使って、Sage 300 データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりSage 300 データ にPython から接続し、高いパフォーマンスを発揮します。Sage 300 にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Sage 300 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でSage 300 データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.sage300 as mod

接続文字列で接続を確立します。connect 関数を使って、CData Sage 300 Connector からSage 300 への接続を行います

cnxn = mod.connect("User=SAMPLE;Password=password;URL=http://127.0.0.1/Sage300WebApi/v1/-/;Company=SAMINC;")

Sage 300 には、Sage 300 Web API で通信するための初期設定が必要となるます。

• Sage 300 のユーザー向けのセキュリティグループを設定します。Sage 300 のユーザーに、Security Groups の下にあるbSage 300 Web API オプションへのアクセスを付与します（各モジュール毎に必要です）。
• /Online/Web と/Online/WebApi フォルダ内のweb.config ファイルを両方編集して、AllowWebApiAccessForAdmin のキーを true 設定します。webAPI アプリプールを再起動すると設定が反映されます。
• ユーザーアクセスを設定したら、https://server/Sage300WebApi/ をクリックして、web API へのアクセスを確認してください。

Basic 認証を使用してSage 300 へ認証します。

Basic 認証を使用して接続する

Sage 300 に認証するには、次のプロパティを入力してください。プロバイダーは、クッキーを使用してSage 300 が開いたセッションを再利用することに注意してください。 そのため、資格情報はセッションを開く最初のリクエストでのみ使用されます。その後は、Sage 300 が返すクッキーを認証に使用します。

• Url：Sage 300 をホストするサーバーのURL に設定します。Sage 300 Web API 用のURL を次のように作成してください。 {protocol}://{host-application-path}/v{version}/{tenant}/ 例えば、 http://localhost/Sage300WebApi/v1.0/-/ です。
• User：アカウントのユーザー名に設定します。
• Password：アカウントのパスワードに設定します。

Sage 300 をクエリするSQL 文の作成

Sage 300 にはSQL でデータアクセスが可能です。OEInvoices エンティティからのデータを読み出します。

sql = "SELECT InvoiceUniquifier, ApprovedLimit FROM OEInvoices WHERE AllowPartialShipments = 'Yes'"

Sage 300 データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、Sage 300 データ を取得して、ApprovedLimit カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'ApprovedLimit')

etl.tocsv(table2,'oeinvoices_data.csv')

CData Python Connector for Sage300 を使えば、データベースを扱う場合と同感覚で、Sage 300 データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

Sage 300 Python Connector の30日の無償トライアル をぜひダウンロードして、Sage 300 データ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.sage300 as mod

cnxn = mod.connect("User=SAMPLE;Password=password;URL=http://127.0.0.1/Sage300WebApi/v1/-/;Company=SAMINC;")

sql = "SELECT InvoiceUniquifier, ApprovedLimit FROM OEInvoices WHERE AllowPartialShipments = 'Yes'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'ApprovedLimit')

etl.tocsv(table2,'oeinvoices_data.csv')