Apache Spark でHCL Domino データをSQL で操作する方法

こんにちは！リードエンジニアの杉本です。

Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for Domino と組み合わせると、Spark はリアルタイムでHCL Domino データに連携して処理ができます。本記事では、Spark シェルに接続してHCL Domino をクエリする方法について解説します。

CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムHCL Domino と対話するための高いパフォーマンスを提供します。HCL Domino に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接HCL Domino にプッシュし、組込みSQL エンジンを使用してサポートされていない操作（SQL 関数やJOIN 操作）をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してHCL Domino を操作して分析できます。

CData JDBC Driver for Domino をインストール

まずは、本記事右側のサイドバーからDomino JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

Spark Shell を起動してHCL Domino データに接続

1. ターミナルを開き、Spark shell でCData JDBC Driver for Domino JAR file をjars パラメータに設定します: $ spark-shell --jars /CData/CData JDBC Driver for Domino/lib/cdata.jdbc.domino.jar
2. Shell でJDBC URL を使ってHCL Domino に接続し、SQL Context load() function でテーブルを読み込みます。

   Domino 接続プロパティの取得・設定方法

   接続の前に

   CData 製品を経由してDomino に接続するには、「Proton コンポーネント」のインストールが必要です。通常、 Proton はAppDev パックの一部として配布されています。Proton またはAppDev パックの入手およびインストール方法については、HCL のドキュメントを参照してください。

   CData 製品は匿名アクセス、またはクライアント証明書の提供によりProton を認証できます。 これらのオプションは両方ともDomino で特定の設定が必要です。

   次の2セクションでは、接続に必要な事前設定について説明します。使用したい認証方法に対応するセクションを参照してください。

   クライアント証明書による認証の設定

   クライアント証明書による認証では、CData 製品は専用のユーザーアカウントとして接続します。このユーザーには、接続するすべてのデータベースに対するdesigner またはそれ以上のアクセス権が付与する必要があります。

   また、CData 製品を使用するためにはユーザーがインターネット証明書を取得する必要があります。サーバーコンソールで以下のコマンドを実行することで、Proton にこの証明書を作成させることができます。 APPUSER はCData 製品でアクセス設定するユーザーアカウント名、ADMINISTRATOR は証明書を受け取るユーザー名です。

   load proton --setupclient "APPUSER" --sendto "ADMINISTRATOR"

   新しい証明書は、Notes のADMINISTRATOR メールボックスから利用できます。証明書は、クライアント証明書（clientcert）およびキー（clientkey）の2ファイルに分けて送信される場合があります。 キーファイルのテキストを証明書ファイルの末尾にコピーアンドペーストして、2つのファイルを結合する必要があります。

   匿名認証の設定

   匿名アクセスでは、CData 製品はAnonymous という一般的なユーザーアカウントで接続します。 接続するすべてのデータベースには、次の2つの権限が設定される必要があります。

   • Anonymous ユーザーには、designer またはそれ以上のデータベースへのアクセス権が付与される必要があります。
   • データベースは、Maximum Internet name and password オプションがdesigner またはそれ以上のアクセスに設定される必要があります。 この設定は、データベースのAccess Control List オプションのAdvanced タブにあります。

   Domino への接続

   接続するには以下を設定します。

   • Server：Proton サービスを使ってDomino を実行中のサーバーのIP アドレス。
   • Port：Proton サービスがリッスンしているポート番号。
   • Database：.nsf 拡張子を含むデータベースファイル名。
   • SSLServerCert：サーバーが受け入れ可能なTLS/SSL 証明書に設定。コンピュータによって信頼されていない他の証明書はすべて拒否されます。または、"*" を設定するとすべての証明書を受け入れます。

   Domino への認証

   CData 製品は、クライアント証明書を使用してProton に認証することも、匿名アクセスで認証することも可能です。

   クライアント証明書による認証

   クライアント証明書で認証するには以下を設定します。

   • AuthScheme：SSLCertificate に設定。
   • SSLClientCertType：これは、証明書ファイルの形式と一致する必要があります。 通常、.pem 証明書の場合はPEMKEY_FILE、.pfx 証明書の場合はPFXFILE のいずれかになります。
   • SSLClientCert：証明書ファイルへのパス。

   匿名認証

   匿名認証を使用するには、AuthScheme をAnonymous に設定します。

   組み込みの接続文字列デザイナー

   JDBC 接続文字列URL の作成には、HCL Domino JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。

   java -jar cdata.jdbc.domino.jar

   接続プロパティを入力し、接続文字列をクリップボードにコピーします。

   scala> val domino_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:domino:Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=*").option("dbtable","ByName").option("driver","cdata.jdbc.domino.DominoDriver").load()
3. 接続が完了し、データがロードされたら、テーブルスキーマが表示されます。

4. HCL Domino をテンポラリーテーブルとして登録します:

   scala> domino_df.registerTable("byname")

5. データに対して、次のようなカスタムSQL クエリを実行します。

   scala> domino_df.sqlContext.sql("SELECT Name, Address FROM ByName WHERE City = Miami").collect.foreach(println)

   コンソールで、次のようなHCL Domino データを取得できました！これでHCL Domino との連携は完了です。

CData JDBC Driver for Domino をApache Spark で使って、HCL Domino に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。