Python でWave Financial データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for WaveFinancial とpetl フレームワークを使って、Wave Financial データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりWave Financial データ にPython から接続し、高いパフォーマンスを発揮します。Wave Financial にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Wave Financial 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でWave Financial データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.wavefinancial as mod

接続文字列で接続を確立します。connect 関数を使って、CData Wave Financial Connector からWave Financial への接続を行います

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

Wave Financial 接続プロパティの取得・設定方法

Wave Financial は、データに接続する手段として、API トークンを指定する方法とOAuth 認証情報を使用する方法の2つを提供しています。

API トークン

1. Wave Financial アカウントにログインします。
2. 左ペインのManage Applications に移動します。
3. トークンを作成するアプリケーションを選択します。最初にアプリケーションを作成する必要がある場合があります。
4. API トークンを生成するには、Create token をクリックします。

OAuth

ヘルプドキュメントでは、以下の3つの一般的な認証フローでのWave Financial への認証について詳しく説明しています。

• デスクトップ：ユーザーのローカルマシン上でのサーバーへの接続で、テストやプロトタイピングによく使用されます。組み込みOAuth またはカスタムOAuth で認証されます。
• Web：共有ウェブサイト経由でデータにアクセスします。カスタムOAuth でのみ認証されます。
• ヘッドレスサーバー：他のコンピュータやそのユーザーにサービスを提供する専用コンピュータで、モニタやキーボードなしで動作するように構成されています。組み込みOAuth またはカスタムOAuth で認証されます。

カスタムOAuth アプリケーションの作成についての情報と、組み込みOAuth 認証情報を持つ認証フローでもカスタムOAuth アプリケーションを作成したほうがよい場合の説明については、ヘルプドキュメント の「カスタムOAuth アプリケーションの作成」セクションを参照してください。

Wave Financial をクエリするSQL 文の作成

Wave Financial にはSQL でデータアクセスが可能です。Invoices エンティティからのデータを読み出します。

sql = "SELECT Id, DueDate FROM Invoices WHERE Status = 'SENT'"

Wave Financial データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、Wave Financial データ を取得して、DueDate カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'DueDate')

etl.tocsv(table2,'invoices_data.csv')

CData Python Connector for WaveFinancial を使えば、データベースを扱う場合と同感覚で、Wave Financial データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

Wave Financial Python Connector の30日の無償トライアル をぜひダウンロードして、Wave Financial データ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.wavefinancial as mod

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

sql = "SELECT Id, DueDate FROM Invoices WHERE Status = 'SENT'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'DueDate')

etl.tocsv(table2,'invoices_data.csv')