Python でDynamics NAV データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for DynamicsNAV とpetl フレームワークを使って、Dynamics NAV データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりDynamics NAV データ にPython から接続し、高いパフォーマンスを発揮します。Dynamics NAV にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Dynamics NAV 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でDynamics NAV データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.dynamicsnav as mod

接続文字列で接続を確立します。connect 関数を使って、CData Dynamics NAV Connector からDynamics NAV への接続を行います

cnxn = mod.connect("http://myserver:7048;User=myserver\Administrator;Password=admin;ServerInstance=DYNAMICSNAV71;")

Dynamics NAV 接続プロパティの取得・設定方法

Dynamics NAV に接続する前に、サーバーでOData サービスを有効にしておく必要があります。OData サービスを有効にすると、CData 製品はサーバーで発行されるあらゆるサービスにクエリできるようになります。Url を有効なDynamics NAV サーバー組織のルート（例：http://MyServer:7048）およびServerInstance（例：DynamicsNAV71）に設定します。 もしサーバーにService Default Company がない場合は、Company（例：'CRONUS Canada, Inc.'）も設定する必要があります。 マルチテナントインストールでは、Tenant にテナントId（例：'Cronus1'）を指定します。

認証するには、User およびPassword プロパティを設定して、Dynamics NAV ログインクレデンシャルまたはWindows ユーザークレデンシャルを有効にします。 AuthScheme で適切な認証メソッドを選択します。

Dynamics NAV をクエリするSQL 文の作成

Dynamics NAV にはSQL でデータアクセスが可能です。Customer エンティティからのデータを読み出します。

sql = "SELECT Name, Prices_Including_VAT FROM Customer WHERE Name = 'Bob'"

Dynamics NAV データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、Dynamics NAV データ を取得して、Prices_Including_VAT カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Prices_Including_VAT')

etl.tocsv(table2,'customer_data.csv')

CData Python Connector for DynamicsNAV を使えば、データベースを扱う場合と同感覚で、Dynamics NAV データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

Dynamics NAV Python Connector の30日の無償トライアル をぜひダウンロードして、Dynamics NAV データ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.dynamicsnav as mod

cnxn = mod.connect("http://myserver:7048;User=myserver\Administrator;Password=admin;ServerInstance=DYNAMICSNAV71;")

sql = "SELECT Name, Prices_Including_VAT FROM Customer WHERE Name = 'Bob'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Prices_Including_VAT')

etl.tocsv(table2,'customer_data.csv')