ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →IBM Cloud Data Engine Connector の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
IBM Cloud Data Engine Python Connector 相談したいIBM Cloud Data Engine Query へのデータ連携用のPython Connector ライブラリ。 pandas、SQLAlchemy、Dash、petl などの主要なPython ツールにIBM Cloud Data Engine Query をシームレスに統合。
CData
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for IBMCloudDataEngine は、pandas、Matplotlib、SQLAlchemy から使用することで IBM Cloud Data Engine にデータ連携するPython アプリケーションを構築したり、IBM Cloud Data Engine データの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でIBM Cloud Data Engine にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。
CData Python Connectors は、以下のような特徴を持った製品です。
CData Python Connectors では、1.データソースとしてIBM Cloud Data Engine の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でIBM Cloud Data Engine にアクセスします。
pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。
pip install pandas pip install matplotlib pip install sqlalchemy
次にライブラリをインポートします。
import pandas import matplotlib.pyplot as plt from sqlalchemy import create_engine
次は接続文字列を作成してIBM Cloud Data Engine に接続します。create_engine 関数を使って、IBM Cloud Data Engine に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。
engine = create_engine("ibmclouddataengine:///?Api Key=MyAPIKey&Instance CRN=myInstanceCRN&Region=myRegion&Schema=mySchema&OAuth Client Id=myOAuthClientId&OAuth Client Secret=myOAuthClientSecret&InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")
IBM Cloud Data Engine は、OAuth およびHMAC 認証標準を使います。詳細はヘルプドキュメントを参照してください。
pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。
df = pandas.read_sql("""SELECT Id, Status FROM Jobs WHERE UserId = 'user@domain.com'""", engine)
DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、IBM Cloud Data Engine データをグラフ化してみます。
df.plot(kind="bar", x="Id", y="Status") plt.show()
このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
import pandas import matplotlib.pyplot as plt from sqlalchemy import create_engin engine = create_engine("ibmclouddataengine:///?Api Key=MyAPIKey&Instance CRN=myInstanceCRN&Region=myRegion&Schema=mySchema&OAuth Client Id=myOAuthClientId&OAuth Client Secret=myOAuthClientSecret&InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt") df = pandas.read_sql("""SELECT Id, Status FROM Jobs WHERE UserId = 'user@domain.com'""", engine) df.plot(kind="bar", x="Id", y="Status") plt.show()