Python でHCL Domino データを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for Domino とpetl フレームワークを使って、HCL Domino データにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりHCL Domino データ にPython から接続し、高いパフォーマンスを発揮します。HCL Domino にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接HCL Domino 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でHCL Domino データをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.domino as mod

接続文字列で接続を確立します。connect 関数を使って、CData HCL Domino Connector からHCL Domino への接続を行います

cnxn = mod.connect("Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=*")

Domino 接続プロパティの取得・設定方法

接続の前に

CData 製品を経由してDomino に接続するには、「Proton コンポーネント」のインストールが必要です。通常、 Proton はAppDev パックの一部として配布されています。Proton またはAppDev パックの入手およびインストール方法については、HCL のドキュメントを参照してください。

CData 製品は匿名アクセス、またはクライアント証明書の提供によりProton を認証できます。 これらのオプションは両方ともDomino で特定の設定が必要です。

次の2セクションでは、接続に必要な事前設定について説明します。使用したい認証方法に対応するセクションを参照してください。

クライアント証明書による認証の設定

クライアント証明書による認証では、CData 製品は専用のユーザーアカウントとして接続します。このユーザーには、接続するすべてのデータベースに対するdesigner またはそれ以上のアクセス権が付与する必要があります。

また、CData 製品を使用するためにはユーザーがインターネット証明書を取得する必要があります。サーバーコンソールで以下のコマンドを実行することで、Proton にこの証明書を作成させることができます。 APPUSER はCData 製品でアクセス設定するユーザーアカウント名、ADMINISTRATOR は証明書を受け取るユーザー名です。

新しい証明書は、Notes のADMINISTRATOR メールボックスから利用できます。証明書は、クライアント証明書（clientcert）およびキー（clientkey）の2ファイルに分けて送信される場合があります。 キーファイルのテキストを証明書ファイルの末尾にコピーアンドペーストして、2つのファイルを結合する必要があります。

匿名認証の設定

匿名アクセスでは、CData 製品はAnonymous という一般的なユーザーアカウントで接続します。 接続するすべてのデータベースには、次の2つの権限が設定される必要があります。

• Anonymous ユーザーには、designer またはそれ以上のデータベースへのアクセス権が付与される必要があります。
• データベースは、Maximum Internet name and password オプションがdesigner またはそれ以上のアクセスに設定される必要があります。 この設定は、データベースのAccess Control List オプションのAdvanced タブにあります。

Domino への接続

接続するには以下を設定します。

• Server：Proton サービスを使ってDomino を実行中のサーバーのIP アドレス。
• Port：Proton サービスがリッスンしているポート番号。
• Database：.nsf 拡張子を含むデータベースファイル名。
• SSLServerCert：サーバーが受け入れ可能なTLS/SSL 証明書に設定。コンピュータによって信頼されていない他の証明書はすべて拒否されます。または、"*" を設定するとすべての証明書を受け入れます。

Domino への認証

CData 製品は、クライアント証明書を使用してProton に認証することも、匿名アクセスで認証することも可能です。

クライアント証明書による認証

クライアント証明書で認証するには以下を設定します。

• AuthScheme：SSLCertificate に設定。
• SSLClientCertType：これは、証明書ファイルの形式と一致する必要があります。 通常、.pem 証明書の場合はPEMKEY_FILE、.pfx 証明書の場合はPFXFILE のいずれかになります。
• SSLClientCert：証明書ファイルへのパス。

匿名認証

匿名認証を使用するには、AuthScheme をAnonymous に設定します。

HCL Domino をクエリするSQL 文の作成

HCL Domino にはSQL でデータアクセスが可能です。ByName エンティティからのデータを読み出します。

sql = "SELECT Name, Address FROM ByName WHERE City = 'Miami'"

HCL Domino データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、HCL Domino データ を取得して、Address カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Address')

etl.tocsv(table2,'byname_data.csv')

CData Python Connector for Domino を使えば、データベースを扱う場合と同感覚で、HCL Domino データ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

HCL Domino Python Connector の30日の無償トライアル をぜひダウンロードして、HCL Domino データ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.domino as mod

cnxn = mod.connect("Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=*")

sql = "SELECT Name, Address FROM ByName WHERE City = 'Miami'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Address')

etl.tocsv(table2,'byname_data.csv')