製品をチェック

Act-On Connector の30日間無償トライアルをダウンロード

 ダウンロードはこちら

製品の詳細

Act-On アイコン Act-On Python Connector 相談したい

Act-On へのデータ連携用のPython Connecotr ライブラリ。 pandas、SQLAlchemy、Dash、petl などの主要なPython ツールにAct-On をシームレスに統合。

Python でAct-On データを変換・出力するETL 処理を作る方法

CData Python Connector とpetl モジュールを使って、Act-On データを変換後にCSV ファイルに吐き出すETL 処理を実装します。

加藤龍彦
ウェブデベロッパー

最終更新日:2023-09-23
acton ロゴ

CData

python ロゴ画像
Python ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for ActOn とpetl フレームワークを使って、Act-On データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりAct-On データ にPython から接続し、高いパフォーマンスを発揮します。Act-On にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Act-On 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います(JOIN やSQL 関数など)。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします:

pip install petl
pip install pandas

Python でAct-On データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.acton as mod

接続文字列で接続を確立します。connect 関数を使って、CData Act-On Connector からAct-On への接続を行います

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

ActOn はOAuth 認証標準を利用しています。OAuth を使って認証するには、アプリケーションを作成してOAuthClientIdOAuthClientSecret、およびCallbackURL 接続プロパティを取得する必要があります。

認証方法についての詳細は、ヘルプドキュメントの「認証の使用」を参照してください。

Act-On をクエリするSQL 文の作成

Act-On にはSQL でデータアクセスが可能です。Images エンティティからのデータを読み出します。

sql = "SELECT Id, Name FROM Images WHERE FolderName = 'New Folder'"

Act-On データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL(抽出・変換・ロード)パイプラインを組みます。この例では、Act-On データ を取得して、Name カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Name')

etl.tocsv(table2,'images_data.csv')

CData Python Connector for ActOn を使えば、データベースを扱う場合と同感覚で、Act-On データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

Act-On Python Connector の30日の無償トライアル をぜひダウンロードして、Act-On データ への接続をPython アプリやスクリプトから簡単に作成しましょう。



フルソースコード

import petl as etl
import pandas as pd
import cdata.acton as mod

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

sql = "SELECT Id, Name FROM Images WHERE FolderName = 'New Folder'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Name')

etl.tocsv(table2,'images_data.csv')

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。