SQLAlchemy ORM を使って、Python でGoogle Data Catalog データに連携する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには、多くのモジュールがあり、システム構築を素早く効率的に行うことができます。CData Python Connector for GoogleDataCatalog は、pandas、Matplotlib モジュール、SQLAlchemy ツールキットから使用することで Google Data Catalog にデータ連携するPython アプリケーションを構築し、Google Data Catalog データを可視化できます。 本記事では、SQLAlchemy でGoogle Data Catalog に連携して、データを取得、 する方法を説明します。

CData Python Connectors の特徴

CData Python Connectors は、以下のような特徴を持った製品です。

1. Google Data Catalog をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
2. Python をはじめとする多様なデータ分析・BI ツールにGoogle Data Catalog データを連携
3. ノーコードでの手軽な接続設定

CData Python Connectors では、1.データソースとしてGoogle Data Catalog の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

必要なモジュールのインストール

pip でSQLAlchemy ツールキットをインストールします：

pip install sqlalchemy

モジュールのインポートを忘れずに行います：

import sqlalchemy

Python でGoogle Data Catalog データをモデル化

次は、接続文字列で接続を確立します。create_engine 関数を使って、Google Data Catalog データに連携するEngne を作成します。

engine = create_engine("googledatacatalog///?ProjectId=YourProjectId&InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")

Google Data Catalog 接続プロパティの取得・設定方法

認証プロパティを追加する前に、次の接続プロパティを設定してください。

• OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
• ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

Google Data Catalog への認証

CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

Google Data Catalog データのマッピングクラスの宣言

接続を確立したら、OR マッパーでモデル化するテーブルのマッピングクラスを宣言します。本記事では、Schemas テーブルを使います。sqlalchemy.ext.declarative.declarative_base 関数を使って、新しいクラスにフィールド（カラム）を定義します。

base = declarative_base()
class Schemas(base):
	__tablename__ = "Schemas"
	Type = Column(String,primary_key=True)
	DatasetName = Column(String)
	...

Google Data Catalog データをクエリ

マッピングクラスができたので、セッションオブジェクトを使ってデータソースをクエリすることができます。セッションにEngine をバインドして、セッションのquery メソッドにマッピングクラスを提供します。

query メソッドを使う

engine = create_engine("googledatacatalog///?ProjectId=YourProjectId&InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")
factory = sessionmaker(bind=engine)
session = factory()
for instance in session.query(Schemas).filter_by(ProjectId="bigquery-public-data"):
	print("Type: ", instance.Type)
	print("DatasetName: ", instance.DatasetName)
	print("---------")

ほかの方法としては、execute メソッドを適切なテーブルオブジェクトに使うことが可能です。以下のコードはアクティブなsession に対して有効です。

execute メソッドを使う

Schemas_table = Schemas.metadata.tables["Schemas"]
for instance in session.execute(Schemas_table.select().where(Schemas_table.c.ProjectId == "bigquery-public-data")):
	print("Type: ", instance.Type)
	print("DatasetName: ", instance.DatasetName)
	print("---------")

より複雑なクエリとして、JOIN、集計、Limit などが利用可能です。詳細はヘルプドキュメントをご覧ください。

Google Data Catalog からPython へのデータ連携には、ぜひCData Python Connector をご利用ください

このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。