Python でHCL Domino のデータを変換・出力するETL 処理を作る方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pythonエコシステムには多くのモジュールがあり、システム構築を素早く効率的に行うことができます。本記事では、CData Python Connector for Domino とpetl フレームワークを使って、HCL Domino のデータにPython から接続してデータを変換、CSV に出力するETL 変換を実装してみます。

CData Python Connector は効率的なデータ処理によりHCL Domino のデータ にPython から接続し、高いパフォーマンスを発揮します。HCL Domino にデータをクエリする際、ドライバーはフィルタリング、集計などがサポートされている場合SQL 処理を直接HCL Domino 側に行わせ、サポートされていないSQL 処理については、組み込みのSQL エンジンによりクライアント側で処理を行います（JOIN やSQL 関数など）。

必要なモジュールのインストール

pip で必要なモジュールおよびフレームワークをインストールします：

pip install petl
pip install pandas

Python でHCL Domino のデータをETL 処理するアプリを構築

モジュールとフレームワークをインストールしたら、ETL アプリケーションを組んでいきます。コードのスニペットは以下の通りです。フルコードは記事の末尾に付いています。

CData Connector を含むモジュールをインポートします。

import petl as etl
import pandas as pd
import cdata.domino as mod

接続文字列で接続を確立します。connect 関数を使って、CData HCL Domino Connector からHCL Domino への接続を行います

cnxn = mod.connect("Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=*")

Domino への接続

Domino のデータに接続するには、以下のプロパティを設定してください。

• URL: Domino データベースをホスティングしているサーバーのホスト名、またはIP を入力します。サーバーのポート番号を含めてください。例えば、http://sampleserver:1234/。
• DatabaseScope: Domino Web UI 内のスコープ名を入力します。ドライバーは、ここで指定したスコープによって制御されるスキーマの、フォームとビューを公開します。Domino Admin UI で、サイドバーからScopes メニューを選択します。このプロパティを、既存のスコープ名に設定します。

Domino での認証

Domino は、ログインクレデンシャルまたはAzure Active Directory OAuth アプリケーションを使用した認証をサポートしています。

ログインクレデンシャル

ログインクレデンシャルで認証するには、以下のプロパティを設定してください：

• AuthScheme: これを"OAuthPassword" に設定します
• User: 認証するDomino ユーザーのユーザー名
• Password: 認証するDominoユ ーザーに関連付けられたパスワード

ドライバーはログインクレデンシャルを使用して、自動的にOAuth トークン交換を実行します。

AzureAD

この認証方法は、Azure Active Directory をIdP として使用してJWTトークンを取得します。Azure Active Directory にカスタムのアプリケーションを作成し、それをIdP として設定する必要があります。そのためには、ヘルプドキュメントの指示に従ってください。その後、以下のプロパティを設定します。

• AuthScheme: これを"AzureAD" に設定します
• InitiateOAuth: これをGETANDREFRESH に設定します。InitiateOAuth を使用すると、OAuth 交換の繰り返しやOAuthAccessToken の手動設定を避けることができます。
• OAuthClientId: カスタムOAuth アプリケーションのセットアップ時に取得したクライアントID
• OAuthClientSecret: カスタムOAuth アプリケーションのセットアップ時に取得したクライアントシークレット
• CallbackURL: アプリ登録時に定義したリダイレクトURI。例えば、https://localhost:33333
• AzureTenant: データにアクセスするために使用されるMicrosoft Online テナント。companyname.microsoft.com 形式の値またはテナントID のいずれかを指定してください。

  テナントID は、Azure ポータルのAzure Active Directory > プロパティページに表示されているディレクトリID と同じです。

HCL Domino をクエリするSQL 文の作成

HCL Domino にはSQL でデータアクセスが可能です。ByName エンティティからのデータを読み出します。

sql = "SELECT Name, Address FROM ByName WHERE City = 'Miami'"

HCL Domino データ のETL 処理

DataFrame に格納されたクエリ結果を使って、petl でETL（抽出・変換・ロード）パイプラインを組みます。この例では、HCL Domino のデータ を取得して、Address カラムでデータをソートして、CSV ファイルにデータをロードします。

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Address')

etl.tocsv(table2,'byname_data.csv')

CData Python Connector for Domino を使えば、データベースを扱う場合と同感覚で、HCL Domino のデータ を扱うことができ、petl のようなETL パッケージから直接データにアクセスが可能になります。

おわりに

HCL Domino Python Connector の30日の無償トライアル をぜひダウンロードして、HCL Domino のデータ への接続をPython アプリやスクリプトから簡単に作成しましょう。

フルソースコード

import petl as etl
import pandas as pd
import cdata.domino as mod

cnxn = mod.connect("Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=*")

sql = "SELECT Name, Address FROM ByName WHERE City = 'Miami'"

table1 = etl.fromdb(cnxn,sql)

table2 = etl.sort(table1,'Address')

etl.tocsv(table2,'byname_data.csv')