Python でBusiness b-ridge データをETL

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Business b-ridge Python Connector

Business b-ridge データ連携用のPython Connector ライブラリ。pandas、SQLAlchemy、Dash、petl などの主要なPython ツールにAutify をシームレスに統合。



CData Python Connector for Business b-ridge を使って、Python petl でBusiness b-ridge data のETL 連携・パイプラインアプリケーションを作成。

Pythonエコシステムには、多くのモジュールがあり、システム構築を素早く効率的に行うことができます。CData Python Connector for Business b-ridge とpetl フレームワークを使って、Business b-ridge に連携するPython アプリや、Business b-ridge データをETL することが可能です。本記事では、CData Python Connector をpetl と一緒に使い、ETL 処理を実装します。

CData Python Connector は、ビルトインされた効率的なデータプロセスにより、リアルタイムBusiness b-ridge data データにPython からアクセスし、高いパフォーマンスと接続性を発揮します。Business b-ridge に複雑なクエリを投げる際に、ドライバーはフィルタリング、集計などがサポートされている場合、SQL 処理を直接Business b-ridge 側に行わせ、サポートされていないSQL 処理については、組み込まれたSQL エンジンによりクライアント側で処理を行います(特にJOIN やSQL 関数など)。

Business b-ridge Data への接続

Business b-ridge data への連携は、RDB ソースへのアクセスと同感覚で行うことができます。必要な接続プロパティを使って接続文字列を作成します。本記事では、接続文字列をcreate_engine 関数のパラメータとして送ります。

When connecting to Business b-ridge, CompanyKey, ProjectKey, and SubscriptionKey are required.

To obtain the SubscriptionKey, follow the steps below:

  • Log in to Business b-ridge API Protal and go to "Profile" in the "Your name" menu.
  • In your subscription section click "Main Key" to retrieve their respective values.

Authenticate to Business b-ridge Account

Set the following connection properties to connect:

  • CompanyKey: Set the Business b-ridge Company Key of the connection destination.
  • ProjectKey: Set the Business b-ridge Project Key of the connection destination.
  • SubscriptionKey: Set the value "Subscription Key".

CData Business b-ridge Connector をインストールしたら、次のように必要なモジュールをインストールし、Python オブジェクトでBusiness b-ridge にアクセスします。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします:

pip install petl
pip install pandas

Python でBusiness b-ridge データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします:

import petl as etl
import pandas as pd
import cdata.businessbridge as mod

接続文字列で接続を確立します。connect 関数を使って、CData Business b-ridge Connector からBusiness b-ridge への接続を行います

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

Business b-ridge をクエリするSQL 文の作成

Business b-ridge にはSQL でデータアクセスが可能です。CDATA エンティティからのデータを読み出します。

sql = "SELECT ItemId, StructureId FROM CDATA WHERE ItemTypeId = '1'"

Business b-ridge Data のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でExtract(取得)、Transform(加工)、Load(ロード)を組みます。この例では、Business b-ridge data を取得して、StructureId カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'StructureId')

etl.tocsv(table2,'cdata_data.csv')

CData Python Connector for Business b-ridge を使えば、データベースを扱う場合と同感覚で、Business b-ridge data を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

製品の無償トライアル情報

Business b-ridge Python Connector の30日の無償トライアル をぜひダウンロードして、Business b-ridge data への接続をPython アプリやスクリプトから簡単に作成しましょう。



フルソースコード

import petl as etl
import pandas as pd
import cdata.businessbridge as mod

cnxn = mod.connect("InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

sql = "SELECT ItemId, StructureId FROM CDATA WHERE ItemTypeId = '1'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'StructureId')

etl.tocsv(table2,'cdata_data.csv')