ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →Azure Data Lake Storage Connector の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
Azure Data Lake Storage Python Connector 相談したいAzure Data Lake Storage データ連携用のPython コネクタライブラリ。Azure Data Lake Storage データをpandas、SQLAlchemy、Dash、petl などの人気のPython ツールにシームレスに統合。
CData
こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Pythonエコシステムには、多くのモジュールがあり、システム構築を素早く効率的に行うことができます。CData Python Connector for ADLS は、pandas、Matplotlib モジュール、SQLAlchemy ツールキットから使用することで Azure Data Lake Storage にデータ連携するPython アプリケーションを構築し、Azure Data Lake Storage データを可視化できます。 本記事では、SQLAlchemy でAzure Data Lake Storage に連携して、データを取得、 する方法を説明します。
CData Python Connectors は、以下のような特徴を持った製品です。
CData Python Connectors では、1.データソースとしてAzure Data Lake Storage の接続を設定、2.Python からPython Connectors との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
pip でSQLAlchemy ツールキットをインストールします:
pip install sqlalchemy
モジュールのインポートを忘れずに行います:
import sqlalchemy
次は、接続文字列で接続を確立します。create_engine 関数を使って、Azure Data Lake Storage データに連携するEngne を作成します。
engine = create_engine("adls///?Schema=ADLSGen2&Account=myAccount&FileSystem=myFileSystem&AccessKey=myAccessKey&InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt")
Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 1 は、認証方法としてAzure Active Directory OAuth(AzureAD)およびマネージドサービスID(AzureMSI)をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。
Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 2は、認証方法としてアクセスキー、共有アクセス署名(SAS)、Azure Active Directory OAuth(AzureAD)、マネージドサービスID(AzureMSI)など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。
アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。
Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。
共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。
接続を確立したら、OR マッパーでモデル化するテーブルのマッピングクラスを宣言します。本記事では、Resources テーブルを使います。sqlalchemy.ext.declarative.declarative_base 関数を使って、新しいクラスにフィールド(カラム)を定義します。
base = declarative_base() class Resources(base): __tablename__ = "Resources" FullPath = Column(String,primary_key=True) Permission = Column(String) ...
マッピングクラスができたので、セッションオブジェクトを使ってデータソースをクエリすることができます。セッションにEngine をバインドして、セッションのquery メソッドにマッピングクラスを提供します。
engine = create_engine("adls///?Schema=ADLSGen2&Account=myAccount&FileSystem=myFileSystem&AccessKey=myAccessKey&InitiateOAuth=GETANDREFRESH&OAuthSettingsLocation=/PATH/TO/OAuthSettings.txt") factory = sessionmaker(bind=engine) session = factory() for instance in session.query(Resources).filter_by(Type="FILE"): print("FullPath: ", instance.FullPath) print("Permission: ", instance.Permission) print("---------")
ほかの方法としては、execute メソッドを適切なテーブルオブジェクトに使うことが可能です。以下のコードはアクティブなsession に対して有効です。
Resources_table = Resources.metadata.tables["Resources"] for instance in session.execute(Resources_table.select().where(Resources_table.c.Type == "FILE")): print("FullPath: ", instance.FullPath) print("Permission: ", instance.Permission) print("---------")
より複雑なクエリとして、JOIN、集計、Limit などが利用可能です。詳細はヘルプドキュメントをご覧ください。
このようにCData Python Connector と併用することで、270を超えるSaaS、NoSQL データをPython からコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
日本のユーザー向けにCData Python Connector は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。