Python でLDAP データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for LDAP とpetl フレームワークを使って、LDAP データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりLDAP objects にPython から接続し、高いパフォーマンスを発揮します。LDAP にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接LDAP 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でLDAP データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.ldap as mod

接続文字列で接続を確立します。connect 関数を使って、CData LDAP Connector からLDAP への接続を行います

cnxn = mod.connect("User=Domain\BobF;Password=bob123456;Server=10.0.1.1;Port=389;")

リクエストを認証するには、User およびPassword プロパティを有効なLDAP クレデンシャル（例えば、User を"Domain\BobF" または"cn=Bob F,ou=Employees,dc=Domain"）に設定します。 CData 製品は、デフォルトでプレーンテキスト認証を使用します。これは、CData 製品がサーバーとTLS/SSL のネゴシエーションを試みるためです。 AuthMechanism を使って別の認証方法を指定できます。 TLS/SSL コンフィギュレーションについて詳しくは、ヘルプドキュメントの「高度な設定」を参照してください。

基本接続には、Server およびPort を設定します。さらに、次のように接続を微調整できます。
• FollowReferrals：設定すると、CData 製品は参照サーバーのデータもビューとして表示します。参照サーバー上のデータを変更するには、このサーバーをServer およびPort で指定する必要があります。
• LDAPVersion：サーバーが実装するプロトコルのバージョンに設定します。デフォルトでは、CData 製品はversion 2 を使用します。
• BaseDN は、LDAP 検索の範囲を指定された識別名の高さに限定します。BaseDN の範囲を絞ることはパフォーマンスを劇的に向上させます。例えば、"cn=users,dc=domain" の値は、"cn=users" およびその子に含まれる結果のみを返します。
• Scope：このプロパティを使用すると、サブツリーから返されるデータをより細かく制御できます。

LDAP をクエリするSQL 文の作成

LDAP にはSQL でデータアクセスが可能です。User エンティティからのデータを読み出します。

sql = "SELECT Id, LogonCount FROM User WHERE CN = 'Administrator'"

LDAP Objects のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、LDAP objects を取得して、LogonCount カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'LogonCount')

etl.tocsv(table2,'user_data.csv')

CData Python Connector for LDAP を使えば、データベースを扱う場合と同感覚で、LDAP objects を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

LDAP Python Connector の30日の無償トライアル をぜひダウンロードして、LDAP objects への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.ldap as mod

cnxn = mod.connect("User=Domain\BobF;Password=bob123456;Server=10.0.1.1;Port=389;")

sql = "SELECT Id, LogonCount FROM User WHERE CN = 'Administrator'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'LogonCount')

etl.tocsv(table2,'user_data.csv')