Python pandas を使ってIBM Cloud Object Storage データを可視化・分析する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for IBMCloudObjectStorage は、pandas、Matplotlib、SQLAlchemy から使用することで IBM Cloud Object Storage にデータ連携するPython アプリケーションを構築したり、IBM Cloud Object Storage データの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でIBM Cloud Object Storage にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。

CData Python Connectors の特徴

CData Python Connectors は、以下のような特徴を持った製品です。

1. IBM Cloud Object Storage をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
2. pandas をはじめとする多様なデータ分析・BI ツールにIBM Cloud Object Storage データを連携
3. ノーコードでの手軽な接続設定

CData Python Connectors では、1.データソースとしてIBM Cloud Object Storage の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でIBM Cloud Object Storage にアクセスします。

必要なライブラリのインストール

pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。

pip install pandas
pip install matplotlib
pip install sqlalchemy

次にライブラリをインポートします。

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engine

Python でIBM Cloud Object Storage データを可視化

次は接続文字列を作成してIBM Cloud Object Storage に接続します。create_engine 関数を使って、IBM Cloud Object Storage に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。

engine = create_engine("ibmcloudobjectstorage:///?ApiKey=myApiKey&CloudObjectStorageCRN=MyInstanceCRN&Region=myRegion&OAuthClientId=MyOAuthClientId&OAuthClientSecret=myOAuthClientSecret")

Cloud Object Storage 接続プロパティの取得・設定方法

Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

Cloud Object Storage の新規インスタンスの登録

IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

1. IBM Cloud アカウントにログインします。
2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

API キー

API キーは以下の手順で取得できます。

1. まずは、IBM Cloud アカウントにログインします。
2. API キーページに移動します。
3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

Cloud Object Storage CRN

デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

• Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
• IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

IBM Cloud Object Storage への接続

これで準備は完了です。以下の接続プロパティを設定してください。

• InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
• ApiKey：セットアップ中に控えたAPI キーを指定。
• CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

プロパティを設定したら、これで接続設定は完了です。

IBM Cloud Object Storage にアクセスするSQL を実行

pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。

df = pandas.read_sql("""SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'""", engine)

IBM Cloud Object Storage データを可視化

DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、IBM Cloud Object Storage データをグラフ化してみます。

df.plot(kind="bar", x="Key", y="Etag")
plt.show()

IBM Cloud Object Storage からPython へのデータ連携には、ぜひCData Python Connector をご利用ください

このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

ソースコード

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engin

engine = create_engine("ibmcloudobjectstorage:///?ApiKey=myApiKey&CloudObjectStorageCRN=MyInstanceCRN&Region=myRegion&OAuthClientId=MyOAuthClientId&OAuthClientSecret=myOAuthClientSecret")
df = pandas.read_sql("""SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'""", engine)

df.plot(kind="bar", x="Key", y="Etag")
plt.show()