各製品の資料を入手。
詳細はこちら →Python pandas を使ってIBM Cloud Object Storage のデータを可視化・分析する方法
CData Python Connector を使えば、Python でIBM Cloud Object Storage をpandas などのライブラリで呼び出してデータ分析や可視化を実行できます。
最終更新日:2023-09-23
この記事で実現できるIBM Cloud Object Storage 連携のシナリオ
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for IBMCloudObjectStorage は、pandas、Matplotlib、SQLAlchemy から使用することで IBM Cloud Object Storage にデータ連携するPython アプリケーションを構築したり、IBM Cloud Object Storage のデータの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でIBM Cloud Object Storage にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。
CData Python Connectors の特徴
CData Python Connectors は、以下のような特徴を持った製品です。
- IBM Cloud Object Storage をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
- pandas をはじめとする多様なデータ分析・BI ツールにIBM Cloud Object Storage のデータを連携
- ノーコードでの手軽な接続設定
CData Python Connectors では、1.データソースとしてIBM Cloud Object Storage の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でIBM Cloud Object Storage にアクセスします。
必要なライブラリのインストール
pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。
pip install pandas pip install matplotlib pip install sqlalchemy
次にライブラリをインポートします。
import pandas import matplotlib.pyplot as plt from sqlalchemy import create_engine
Python でIBM Cloud Object Storage のデータを可視化
次は接続文字列を作成してIBM Cloud Object Storage に接続します。create_engine 関数を使って、IBM Cloud Object Storage に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。
engine = create_engine("ibmcloudobjectstorage:///?ApiKey=myApiKey&CloudObjectStorageCRN=MyInstanceCRN&Region=myRegion&OAuthClientId=MyOAuthClientId&OAuthClientSecret=myOAuthClientSecret")
Cloud Object Storage 接続プロパティの取得・設定方法
Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。
Cloud Object Storage の新規インスタンスの登録
IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。
- IBM Cloud アカウントにログインします。
- Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。
API キー
API キーは以下の手順で取得できます。
- まずは、IBM Cloud アカウントにログインします。
- API キーページに移動します。
- 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
- ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。
Cloud Object Storage CRN
デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。
- Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
- IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。
IBM Cloud Object Storage への接続
これで準備は完了です。以下の接続プロパティを設定してください。
- InitiateOAuth:GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
- ApiKey:セットアップ中に控えたAPI キーを指定。
- CloudObjectStorageCRN(オプション):控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。
プロパティを設定したら、これで接続設定は完了です。
IBM Cloud Object Storage にアクセスするSQL を実行
pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。
df = pandas.read_sql("""SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'""", engine)
IBM Cloud Object Storage のデータを可視化
DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、IBM Cloud Object Storage のデータをグラフ化してみます。
df.plot(kind="bar", x="Key", y="Etag") plt.show()

IBM Cloud Object Storage からPython へのデータ連携には、ぜひCData Python Connector をご利用ください
このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。
ソースコード
import pandas import matplotlib.pyplot as plt from sqlalchemy import create_engin engine = create_engine("ibmcloudobjectstorage:///?ApiKey=myApiKey&CloudObjectStorageCRN=MyInstanceCRN&Region=myRegion&OAuthClientId=MyOAuthClientId&OAuthClientSecret=myOAuthClientSecret") df = pandas.read_sql("""SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'""", engine) df.plot(kind="bar", x="Key", y="Etag") plt.show()