製品をチェック

Parquet Connector の30日間無償トライアルをダウンロード

 30日間の無償トライアルへ

製品の詳細

Parquet アイコン Parquet Python Connector 相談したい

Parquet データ連携用Python コネクタライブラリ。Parquet データをpandas、SQLAlchemy、Dash、petl などの人気のPython ツールにシームレスに統合。

Python pandas を使ってParquet のデータを可視化・分析する方法

CData Python Connector を使えば、Python でParquet をpandas などのライブラリで呼び出してデータ分析や可視化を実行できます。

加藤龍彦
デジタルマーケティング

最終更新日:2023-09-23
parquet ロゴ

CData

python ロゴ画像
Python ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for Parquet は、pandas、Matplotlib、SQLAlchemy から使用することで Parquet にデータ連携するPython アプリケーションを構築したり、Parquet のデータの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でParquet にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。

CData Python Connectors の特徴

CData Python Connectors は、以下のような特徴を持った製品です。

  1. Parquet をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
  2. pandas をはじめとする多様なデータ分析・BI ツールにParquet のデータを連携
  3. ノーコードでの手軽な接続設定

CData Python Connectors では、1.データソースとしてParquet の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でParquet にアクセスします。

必要なライブラリのインストール

pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。

pip install pandas
pip install matplotlib
pip install sqlalchemy

次にライブラリをインポートします。

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engine

Python でParquet のデータを可視化

次は接続文字列を作成してParquet に接続します。create_engine 関数を使って、Parquet に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。

engine = create_engine("parquet:///?URI=C:/folder/table.parquet")

Parquet 接続プロパティの取得・設定方法

ローカルのParquet ファイルに接続するには、URI 接続プロパティをParquet ファイルへのパスに設定してください。

Parquet にアクセスするSQL を実行

pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。

df = pandas.read_sql("""SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = 'SAMPLE_VALUE'""", engine)

Parquet のデータを可視化

DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、Parquet のデータをグラフ化してみます。

df.plot(kind="bar", x="Id", y="Column1")
plt.show()
Parquet データ in a Python plot (Salesforce is shown).

Parquet からPython へのデータ連携には、ぜひCData Python Connector をご利用ください

このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。



ソースコード

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engin

engine = create_engine("parquet:///?URI=C:/folder/table.parquet")
df = pandas.read_sql("""SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = 'SAMPLE_VALUE'""", engine)

df.plot(kind="bar", x="Id", y="Column1")
plt.show()

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。