Python でREST データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for REST とpetl フレームワークを使って、REST データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりREST データ にPython から接続し、高いパフォーマンスを発揮します。REST にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接REST 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でREST データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.rest as mod

接続文字列で接続を確立します。connect 関数を使って、CData REST Connector からREST への接続を行います

cnxn = mod.connect("DataModel=Relational;URI=C:/people.xml;Format=XML;")

データソースへの認証については、データプロバイダーのヘルプドキュメントの「はじめに」を参照してください: データプロバイダーはREST API を双方向データベーステーブルとして、XML/JSON ファイル（ローカルファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）を読み取り専用のビューとしてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。認証についての詳細は、ヘルプドキュメントの「はじめに」を参照してください。

URI を設定し、認証値を指定したら、Format を"XML" または"JSON" に設定して、データ表現をデータ構造により厳密に一致させるようにDataModel を設定します。

DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、以下の基本的な設定を切り替えます。

• Document （デフォルト）：REST データのトップレベルのドキュメントビューをモデル化します。データプロバイダーはネストされたエレメントをデータの集計として返します。
• FlattenedDocuments：ネストされたドキュメントとその親を単一テーブルとして暗黙的に結合します。
• Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれます。

リレーショナル表現の構成について詳しくは、「REST データのモデル化」を参照してください。次の例で使用されているサンプルデータもあります。データには、人、所有している車、およびそれらの車で行われたさまざまなメンテナンスサービスのエントリが含まれています。The data includes entries for people, the cars they own, and various maintenance services performed on those cars.

REST をクエリするSQL 文の作成

REST にはSQL でデータアクセスが可能です。people エンティティからのデータを読み出します。

sql = "SELECT [ personal.name.first ], [ personal.name.last ] FROM people WHERE [ personal.name.last ] = 'Roberts'"

REST データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、REST データ を取得して、[ personal.name.last ] カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'[ personal.name.last ]')

etl.tocsv(table2,'people_data.csv')

CData Python Connector for REST を使えば、データベースを扱う場合と同感覚で、REST データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

REST Python Connector の30日の無償トライアル をぜひダウンロードして、REST データ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.rest as mod

cnxn = mod.connect("DataModel=Relational;URI=C:/people.xml;Format=XML;")

sql = "SELECT [ personal.name.first ], [ personal.name.last ] FROM people WHERE [ personal.name.last ] = 'Roberts'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'[ personal.name.last ]')

etl.tocsv(table2,'people_data.csv')