製品をチェック

無償トライアル:

無償トライアルへ

製品の情報と無償トライアルへ:

Google Cloud Storage Python Connector

Google Cloud Storage データ連携用Python コネクタライブラリ。Google Cloud Storage データをPandas、SQLAlchemy、Dash、petl などの人気のPython ツールにシームレスに統合。

データ連携でお困りですか?

お問い合わせ

Python のDash ライブラリを使って、Google Cloud Storage データ に連携するウェブアプリケーションを開発


CData Python Connector for GoogleCloudStorage を使って、Google Cloud Storage にデータ連携するPython ウェブアプリケーションを開発できます。pandas とDash を使って作成してみます。


googlecloudstorage ロゴ画像
python ロゴ画像

Python

Python ロゴ画像

Pythonエコシステムには、多くのモジュールがあり、システム構築を素早く効率的に行うことができます。CData Python Connector for GoogleCloudStorage を使うことで、pandas モジュールとDash フレームワークでGoogle Cloud Storage にデータ連携するアプリケーションを効率的に開発することができます。本記事では、pandas、Dash とCData Connector を使って、Google Cloud Storage に連携して、Google Cloud Storage data をビジュアライズするシンプルなウエブアプリを作ります。

CData Python Connector は、ビルトインされた効率的なデータプロセスにより、リアルタイムGoogle Cloud Storage data データにPython からアクセスし、高いパフォーマンスと接続性を発揮します。Google Cloud Storage に複雑なクエリを投げる際に、ドライバーはフィルタリング、集計などがサポートされている場合、SQL 処理を直接Google Cloud Storage 側に行わせ、サポートされていないSQL 処理については、組み込まれたSQL エンジンによりクライアント側で処理を行います(特にJOIN やSQL 関数など)。

Google Cloud Storage への接続

Google Cloud Storage data への連携は、RDB ソースへのアクセスと同感覚で行うことができます。必要な接続プロパティを使って接続文字列を作成します。本記事では、接続文字列をcreate_engine 関数のパラメータとして送ります。

ユーザーアカウントでの認証

ユーザー資格情報の接続プロパティを設定することなく接続できます。InitiateOAuth をGETANDREFRESH に設定したら、接続の準備が完了です。

接続すると、Google Cloud Storage OAuth エンドポイントがデフォルトブラウザで開きます。ログインして権限を付与すると、OAuth プロセスが完了します。

サービスアカウントでの認証

サービスアカウントには、ブラウザでユーザー認証を行わないサイレント認証があります。サービスアカウントを使用して、企業全体のアクセススコープを委任することもできます。

このフローでは、OAuth アプリケーションを作成する必要があります。詳しくは、ヘルプドキュメントを参照してください。以下の接続プロパティを設定したら、接続の準備が完了です:

  • InitiateOAuth: GETANDREFRESH に設定。
  • OAuthJWTCertType: PFXFILE に設定。
  • OAuthJWTCert: 生成した.p12 ファイルへのパスに設定。
  • OAuthJWTCertPassword: .p12 ファイルのパスワードに設定。
  • OAuthJWTCertSubject: 証明書ストアの最初の証明書が選ばれるように"*" に設定。
  • OAuthJWTIssuer: 「サービスアカウント」セクションで「サービスアカウントの管理」をクリックし、このフィールドをサービスアカウントID フィールドに表示されているE メールアドレスに設定。
  • OAuthJWTSubject: サブジェクトタイプが"enterprise" に設定されている場合はエンタープライズID に設定し、"user" に設定されている場合はアプリユーザーID に設定。
  • ProjectId: 接続するプロジェクトのID に設定。

これで、サービスアカウントのOAuth フローが完了します。

以下の手順に従い、必要なモジュールをインストールし、Python オブジェクト経由でGoogle Cloud Storage にアクセスします。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします:

pip install pandas
pip install dash
pip install dash-daq

Python でGoogle Cloud Storage データ をビジュアライズ

必要なモジュールとフレームワークがインストールされたら、ウェブアプリを開発していきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

まず、CData Connector を含むモジュールをインポートします:

import os
import dash
import dash_core_components as dcc
import dash_html_components as html
import pandas as pd
import cdata.googlecloudstorage as mod
import plotly.graph_objs as go

接続文字列を使ってデータへの接続を確立します。connect 関数を使ってCData Google Cloud Storage Connector にGoogle Cloud Storage data との接続を確立します。

cnxn = mod.connect("ProjectId='project1';InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")")

Google Cloud Storage にクエリを実行

read_sql 関数を使って、padas からSQL 文を発行し、DataFrame に結果を格納します。

df = pd.read_sql("""SELECT Name, OwnerId FROM Buckets WHERE Name = 'TestBucket'""", cnxn)

ウェブアプリケーションの設定

DataFrame に格納されたクエリ結果を使って、ウェブアプリにname、stylesheet、title を設定していきます。

app_name = 'dash-googlecloudstorageedataplot'

external_stylesheets = ['https://codepen.io/chriddyp/pen/bWLwgP.css']

app = dash.Dash(__name__, external_stylesheets=external_stylesheets)
app.title = 'CData + Dash'

Layout 設定

次に、Google Cloud Storage data をベースにした棒グラフを作詞し、アプリのレイアウトを設定します。

trace = go.Bar(x=df.Name, y=df.OwnerId, name='Name')

app.layout = html.Div(children=[html.H1("CData Extention + Dash", style={'textAlign': 'center'}),
	dcc.Graph(
		id='example-graph',
		figure={
			'data': [trace],
			'layout':
			go.Layout(alt='Google Cloud Storage Buckets Data', barmode='stack')
		})
], className="container")

アプリをセットアップして、実行n

接続、アプリ、レイアウトを定義したら、アプリを実行してみましょう。Python コードの最後はこのようです。

if __name__ == '__main__':
    app.run_server(debug=True)

では、Python でウェブアプリを稼働させて、ブラウザでGoogle Cloud Storage data を見てみましょう。

python googlecloudstorage-dash.py
Google Cloud Storage data in a Dash web app (Salesforce is shown).

製品の無償トライアル情報

Google Cloud Storage Python Connector の30日の無償トライアル をぜひダウンロードして、Google Cloud Storage data への接続をPython アプリやスクリプトから簡単に作成しましょう。



import os
import dash
import dash_core_components as dcc
import dash_html_components as html
import pandas as pd
import cdata.googlecloudstorage as mod
import plotly.graph_objs as go

cnxn = mod.connect("ProjectId='project1';InitiateOAuth=GETANDREFRESH;OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")

df = pd.read_sql("SELECT Name, OwnerId FROM Buckets WHERE Name = 'TestBucket'", cnxn)
app_name = 'dash-googlecloudstoragedataplot'

external_stylesheets = ['https://codepen.io/chriddyp/pen/bWLwgP.css']

app = dash.Dash(__name__, external_stylesheets=external_stylesheets)
app.title = 'CData + Dash'
trace = go.Bar(x=df.Name, y=df.OwnerId, name='Name')

app.layout = html.Div(children=[html.H1("CData Extention + Dash", style={'textAlign': 'center'}),
	dcc.Graph(
		id='example-graph',
		figure={
			'data': [trace],
			'layout':
			go.Layout(alt='Google Cloud Storage Buckets Data', barmode='stack')
		})
], className="container")

if __name__ == '__main__':
    app.run_server(debug=True)