ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →CData
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for Paylocity とpetl フレームワークを使って、Paylocity データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。
CData Python Connector は効率的なデータ処理によりPaylocity データ にPython から接続し、高いパフォーマンスを発揮します。Paylocity にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接Paylocity 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います(JOIN やSQL 関数など)。
pip で必要なモジュールおよびフレームワークをインストールします:
pip install petl pip install pandas
モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。
CData Connector を含むモジュールをインポートします。
import petl as etl import pandas as pd import cdata.paylocity as mod
接続文字列で接続を確立します。connect 関数を使って、CData Paylocity Connector からPaylocity への接続を行います
cnxn = mod.connect("OAuthClientID=YourClientId;OAuthClientSecret=YourClientSecret;RSAPublicKey=YourRSAPubKey;Key=YourKey;IV=YourIV;InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")
Paylocity への接続を確立するには以下を設定します。
このプロパティは、Insert およびUpdate ステートメントを実行するために必須です。この機能が無効になっている場合は必須ではありません。
Paylocity は、RSA 復号化を使用してAES 鍵を復号化します。
これはオプションのプロパティで、IV の値が指定されていない場合、ドライバーは内部でキーを生成します。
OAuth を使用してPaylocity で認証する必要があります。OAuth では認証するユーザーにブラウザでPaylocity との通信を要求します。詳しくは、ヘルプドキュメントのOAuth セクションを参照してください。
Pay Entry API はPaylocity API の他の部分と完全に分離されています。個別のクライアントID とシークレットを使用し、アカウントへのアクセスを許可するにはPaylocity から明示的にリクエストする必要があります。 Pay Entry API を使用すると、個々の従業員の給与情報を自動的に送信できます。 Pay Entry API によって提供されるものの性質が非常に限られているため、CData では個別のスキーマを提供しないことを選択しましたが、UsePayEntryAPI 接続プロパティを介して有効にできます。
UsePayEntryAPI をtrue に設定する場合は、CreatePayEntryImportBatch、MergePayEntryImportBatch、Input_TimeEntry、およびOAuth ストアドプロシージャのみ利用できることに注意してください。 製品のその他の機能を使用しようとするとエラーが発生します。また、OAuthAccessToken を個別に保存する必要があります。これは、この接続プロパティを使用するときに異なるOAuthSettingsLocation を設定することを意味します。
Paylocity にはSQL でデータアクセスが可能です。Employee エンティティからのデータを読み出します。
sql = "SELECT FirstName, LastName FROM Employee WHERE EmployeeId = '1234'"
DataFrame に格納されたクエリ結果を使って、petl でETL(抽出・変換・ロード)パイプラインを組みます。この例では、Paylocity データ を取得して、LastName カラムでデータをソートして、CSV ファイルにデータをロードします。
table1 = etl.fromdb(cnxn,sql) table2 = etl.sort(table1,'LastName') etl.tocsv(table2,'employee_data.csv')
CData Python Connector for Paylocity を使えば、データベースを扱う場合と同感覚で、Paylocity データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。
Paylocity Python Connector の30日の無償トライアル をぜひダウンロードして、Paylocity データ への接続をPython アプリやスクリプトから簡単に作成しましょう。
import petl as etl import pandas as pd import cdata.paylocity as mod cnxn = mod.connect("OAuthClientID=YourClientId;OAuthClientSecret=YourClientSecret;RSAPublicKey=YourRSAPubKey;Key=YourKey;IV=YourIV;InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")") sql = "SELECT FirstName, LastName FROM Employee WHERE EmployeeId = '1234'" table1 = etl.fromdb(cnxn,sql) table2 = etl.sort(table1,'LastName') etl.tocsv(table2,'employee_data.csv')