製品をチェック

SFTP Connector の30日間無償トライアルをダウンロード

 ダウンロードはこちら

製品の詳細

SFTP アイコン SFTP Python Connector 相談したい

SFTP へのデータ連携用のPython Connecotr ライブラリ。 pandas、SQLAlchemy、Dash、petl などの主要なPython ツールにSFTP をシームレスに統合。

Python pandas を使ってSFTP データを可視化・分析する方法

CData Python Connector を使えば、Python でSFTP をpandas などのライブラリで呼び出してデータ分析や可視化を実行できます。

加藤龍彦
ウェブデベロッパー

最終更新日:2023-09-23
sftp ロゴ

CData

python ロゴ画像
Python ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Python エコシステムには多くのライブラリがあり、開発やデータ分析を行う際には必須と言っていいライブラリも多く存在します。CData Python Connector for SFTP は、pandas、Matplotlib、SQLAlchemy から使用することで SFTP にデータ連携するPython アプリケーションを構築したり、SFTP データの可視化を実現します。本記事では、pandas、SQLAlchemy、およびMatplotlib のビルトイン機能でSFTP にリアルタイムアクセスし、クエリを実行して結果を可視化する方法を説明します。

CData Python Connectors の特徴

CData Python Connectors は、以下のような特徴を持った製品です。

  1. SFTP をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
  2. pandas をはじめとする多様なデータ分析・BI ツールにSFTP データを連携
  3. ノーコードでの手軽な接続設定

CData Python Connectors では、1.データソースとしてSFTP の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

以下の手順に従い、必要なライブラリをインストールし、Python オブジェクト経由でSFTP にアクセスします。

必要なライブラリのインストール

pip で、pandas & Matplotlib ライブラリおよび、SQLAlchemy をインストールします。

pip install pandas
pip install matplotlib
pip install sqlalchemy

次にライブラリをインポートします。

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engine

Python でSFTP データを可視化

次は接続文字列を作成してSFTP に接続します。create_engine 関数を使って、SFTP に連携するEngne を作成します。以下はサンプルの接続文字列になりますので、環境に応じてクレデンシャル部分を変更してください。

engine = create_engine("sftp:///?RemoteHost=MyFTPServer")

FTP は、SFTP プロトコルを使用してSFTP サーバーとの間のファイル転送を行います。接続するにはRemoteHost を指定します。FTP はUser、Password、および公開鍵認証(SSHClientCert)を使用します。 SSHAuthMode を選択し、選択に基づいて接続値を指定します。

次の接続プロパティを設定し、ファイルシステムのリレーショナルビューをコントロールします。

  • RemotePath: 現在の作業ディレクトリに設定。
  • TableDepth: ビューとしてレポートするサブフォルダの深度を制御するために設定。
  • FileRetrievalDepth: ファイルを再帰的に取得し、Root テーブルにリストするために設定。
ストアドプロシージャは、ファイル、のダウンロード、アップロード、およびプロトコルコマンドの送信に利用できます。SQL を使用してサーバーと対話する方法の詳細については、ヘルプドキュメントの「データモデル」を参照してください。

SFTP にアクセスするSQL を実行

pandas のread_sql 関数を使って好きなSQL を発行して、DataFrame にデータを格納します。

df = pandas.read_sql("""SELECT Filesize, Filename FROM MyDirectory WHERE FilePath = '/documents/doc.txt'""", engine)

SFTP データを可視化

DataFrame に格納されたクエリ結果に対して、plot 関数をつかって、SFTP データをグラフ化してみます。

df.plot(kind="bar", x="Filesize", y="Filename")
plt.show()
SFTP データ in a Python plot (Salesforce is shown).

SFTP からPython へのデータ連携には、ぜひCData Python Connector をご利用ください

このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。



ソースコード

import pandas
import matplotlib.pyplot as plt
from sqlalchemy import create_engin

engine = create_engine("sftp:///?RemoteHost=MyFTPServer")
df = pandas.read_sql("""SELECT Filesize, Filename FROM MyDirectory WHERE FilePath = '/documents/doc.txt'""", engine)

df.plot(kind="bar", x="Filesize", y="Filename")
plt.show()

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。