Python pandas を使ってBitbucket のデータを可視化・分析する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for Bitbucket は、pandas、Matplotlib、SQLAlchemy から使用することで Bitbucket にデータ連携するPython アプリケーションを構築したり、Bitbucket のデータの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でBitbucket にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。

CData Python Connectors の特徴

CData Python Connectors は、以下のような特徴を持った製品です。

1. Bitbucket をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
2. pandas をはじめとする多様なデータ分析・BI ツールにBitbucket のデータを連携
3. ノーコードでの手軽な接続設定

CData Python Connectors では、1.データソースとしてBitbucket の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でBitbucket にアクセスします。

必要なライブラリのインストール

pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。

pip install pandas
pip install matplotlib
pip install sqlalchemy

次にライブラリをインポートします。

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engine

Python でBitbucket のデータを可視化

次は接続文字列を作成してBitbucket に接続します。create_engine 関数を使って、Bitbucket に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。

engine = create_engine("bitbucket:///?Workspace=myworkspaceslug&Schema=InformationInitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")

ほとんどのクエリでは、ワークスペースを設定する必要があります。唯一の例外は、Workspacesテーブルです。このテーブルはこのプロパティの設定を必要とせず、クエリを実行すると、Workspaceの設定に使用できるワークスペーススラッグのリストが提供されます。このテーブルにクエリを実行するには、スキーマを'Information'に設定し、SELECT * FROM Workspacesクエリを実行する必要があります。

Schemaを'Information'に設定すると、一般的な情報が表示されます。Bitbucketに接続するには、以下のパラメータを設定してください。

• Schema: ワークスペースのユーザー、リポジトリ、プロジェクトなどの一般的な情報を表示するには、これを'Information'に設定します。それ以外の場合は、クエリを実行するリポジトリまたはプロジェクトのスキーマに設定します。利用可能なスキーマの完全なセットを取得するには、sys_schemasテーブルにクエリを実行してください。
• Workspace: Workspacesテーブルにクエリを実行する場合を除き、必須です。Workspacesテーブルへのクエリにはこのプロパティは必要ありません。そのクエリはWorkspaceの設定に使用できるワークスペーススラッグのリストのみを返すためです。

Bitbucketでの認証

BitbucketはOAuth認証のみをサポートしています。すべてのOAuthフローからこの認証を有効にするには、カスタムOAuthアプリケーションを作成し、AuthSchemeをOAuthに設定する必要があります。

特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを必ず確認してください。

カスタムOAuthアプリケーションの作成

Bitbucketアカウントから、以下のステップを実行します。

1. 設定（歯車アイコン）に移動し、ワークスペース設定を選択します。
2. アプリと機能セクションで、OAuthコンシューマーを選択します。
3. コンシューマーを追加をクリックします。
4. カスタムアプリケーションの名前と説明を入力します。
5. コールバックURLを設定します。
   • デスクトップアプリケーションとヘッドレスマシンの場合、http://localhost:33333または任意のポート番号を使用します。ここで設定するURIがCallbackURLプロパティになります。
   • Webアプリケーションの場合、信頼できるリダイレクトURLにコールバックURLを設定します。このURLは、ユーザーがアプリケーションにアクセスが許可されたことを確認するトークンを持って戻るWebの場所です。
6. クライアント認証情報を使用して認証する予定の場合、これはプライベートコンシューマーですを選択する必要があります。ドライバーでは、AuthSchemeをclientに設定する必要があります。
7. OAuthアプリケーションに与える権限を選択します。これにより、読み取りおよび書き込みできるデータが決まります。
8. 新しいカスタムアプリケーションを保存するには、保存をクリックします。
9. アプリケーションが保存された後、それを選択して設定を表示できます。アプリケーションのKeyとSecretが表示されます。これらを将来の使用のために記録してください。Keyを使用してOAuthClientIdを設定し、Secretを使用してOAuthClientSecretを設定します。

Bitbucket にアクセスするSQL を実行

pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。

df = pandas.read_sql("""SELECT Title, ContentRaw FROM Issues WHERE Id = '1'""", engine)

Bitbucket のデータを可視化

DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、Bitbucket のデータをグラフ化してみます。

df.plot(kind="bar", x="Title", y="ContentRaw")
plt.show()

Bitbucket からPython へのデータ連携には、ぜひCData Python Connector をご利用ください

このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。

ソースコード

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engin

engine = create_engine("bitbucket:///?Workspace=myworkspaceslug&Schema=InformationInitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")
df = pandas.read_sql("""SELECT Title, ContentRaw FROM Issues WHERE Id = '1'""", engine)

df.plot(kind="bar", x="Title", y="ContentRaw")
plt.show()