ETL ツールのEmbulk を使ってHCL Domino データをDB にロードする方法

こんにちは！リードエンジニアの杉本です。

Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for Domino を使って、HCL Domino のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。

Embulk でHCL Domino のデータをロード

• CData JDBC Driver for Domino をEmbulk と同じマシンにインストールします。CData JDBC ドライバは30日間の無償トライアルが利用できるので、サイドバーからお気軽にダウンロードしてご利用ください。
• 以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
  C:\Program Files\CData\CData JDBC Driver for Domino 2019J\lib\cdata.jdbc.domino.jar

• 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。

  https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc

  インストール用のコマンドはこちら：

  embulk gem install embulk-input-jdbc

• 今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。

  https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql

  コマンドはこちら。

  embulk gem install embulk-output-mysql
• config ファイルを作成し、HCL Domino -> MySQL のジョブを作成します。domino-mysql.yml というファイル名で、以下の内容で作成しました。
in: type: jdbc driver_path: C:\Program Files\CData\CData JDBC Driver for Domino 2024J\lib\cdata.jdbc.domino.jar driver_class: cdata.jdbc.domino.DominoDriver url: jdbc:domino:Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=* table: "ByName" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "ByName" mode: insert
• JDBC URL の内容は、ご利用の環境や資格情報を入力してください。

  Domino 接続プロパティの取得・設定方法

  接続の前に

  CData 製品を経由してDomino に接続するには、「Proton コンポーネント」のインストールが必要です。通常、 Proton はAppDev パックの一部として配布されています。Proton またはAppDev パックの入手およびインストール方法については、HCL のドキュメントを参照してください。

  CData 製品は匿名アクセス、またはクライアント証明書の提供によりProton を認証できます。 これらのオプションは両方ともDomino で特定の設定が必要です。

  次の2セクションでは、接続に必要な事前設定について説明します。使用したい認証方法に対応するセクションを参照してください。

  クライアント証明書による認証の設定

  クライアント証明書による認証では、CData 製品は専用のユーザーアカウントとして接続します。このユーザーには、接続するすべてのデータベースに対するdesigner またはそれ以上のアクセス権が付与する必要があります。

  また、CData 製品を使用するためにはユーザーがインターネット証明書を取得する必要があります。サーバーコンソールで以下のコマンドを実行することで、Proton にこの証明書を作成させることができます。 APPUSER はCData 製品でアクセス設定するユーザーアカウント名、ADMINISTRATOR は証明書を受け取るユーザー名です。

  load proton --setupclient "APPUSER" --sendto "ADMINISTRATOR"

  新しい証明書は、Notes のADMINISTRATOR メールボックスから利用できます。証明書は、クライアント証明書（clientcert）およびキー（clientkey）の2ファイルに分けて送信される場合があります。 キーファイルのテキストを証明書ファイルの末尾にコピーアンドペーストして、2つのファイルを結合する必要があります。

  匿名認証の設定

  匿名アクセスでは、CData 製品はAnonymous という一般的なユーザーアカウントで接続します。 接続するすべてのデータベースには、次の2つの権限が設定される必要があります。

  • Anonymous ユーザーには、designer またはそれ以上のデータベースへのアクセス権が付与される必要があります。
  • データベースは、Maximum Internet name and password オプションがdesigner またはそれ以上のアクセスに設定される必要があります。 この設定は、データベースのAccess Control List オプションのAdvanced タブにあります。

  Domino への接続

  接続するには以下を設定します。

  • Server：Proton サービスを使ってDomino を実行中のサーバーのIP アドレス。
  • Port：Proton サービスがリッスンしているポート番号。
  • Database：.nsf 拡張子を含むデータベースファイル名。
  • SSLServerCert：サーバーが受け入れ可能なTLS/SSL 証明書に設定。コンピュータによって信頼されていない他の証明書はすべて拒否されます。または、"*" を設定するとすべての証明書を受け入れます。

  Domino への認証

  CData 製品は、クライアント証明書を使用してProton に認証することも、匿名アクセスで認証することも可能です。

  クライアント証明書による認証

  クライアント証明書で認証するには以下を設定します。

  • AuthScheme：SSLCertificate に設定。
  • SSLClientCertType：これは、証明書ファイルの形式と一致する必要があります。 通常、.pem 証明書の場合はPEMKEY_FILE、.pfx 証明書の場合はPFXFILE のいずれかになります。
  • SSLClientCert：証明書ファイルへのパス。

  匿名認証

  匿名認証を使用するには、AuthScheme をAnonymous に設定します。

• テーブル名は取得したいテーブル名を入れます。
• これで準備完了です。あとは「embulk run」で実行するだけです。
embulk run domino-mysql.yml
• 実行後MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。

クエリ条件でフィルタリングしたデータのロード

ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。

おわりに

CData JDBC Driver for Domino をEmbulk で使うことで、HCL Domino と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。