ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →HCL Domino Driver の30日間無償トライアルをダウンロード
30日間の無償トライアルへCData
こんにちは!リードエンジニアの杉本です。
Apache Spark は大規模データ処理のための高速エンジンです。CData JDBC Driver for Domino と組み合わせると、Spark はリアルタイムでHCL Domino データに連携して処理ができます。本記事では、Spark シェルに接続してHCL Domino をクエリする方法について解説します。
CData JDBC Driver は、最適化されたデータ処理がドライバーに組み込まれているため、リアルタイムHCL Domino と対話するための高いパフォーマンスを提供します。HCL Domino に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計など、サポートされているSQL操作を直接HCL Domino にプッシュし、組込みSQL エンジンを使用してサポートされていない操作(SQL 関数やJOIN 操作)をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータ型を使用してHCL Domino を操作して分析できます。
まずは、本記事右側のサイドバーからDomino JDBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
$ spark-shell --jars /CData/CData JDBC Driver for Domino/lib/cdata.jdbc.domino.jar
CData 製品を経由してDomino に接続するには、「Proton コンポーネント」のインストールが必要です。通常、 Proton はAppDev パックの一部として配布されています。Proton またはAppDev パックの入手およびインストール方法については、HCL のドキュメントを参照してください。
CData 製品は匿名アクセス、またはクライアント証明書の提供によりProton を認証できます。 これらのオプションは両方ともDomino で特定の設定が必要です。
次の2セクションでは、接続に必要な事前設定について説明します。使用したい認証方法に対応するセクションを参照してください。
クライアント証明書による認証では、CData 製品は専用のユーザーアカウントとして接続します。このユーザーには、接続するすべてのデータベースに対するdesigner またはそれ以上のアクセス権が付与する必要があります。
また、CData 製品を使用するためにはユーザーがインターネット証明書を取得する必要があります。サーバーコンソールで以下のコマンドを実行することで、Proton にこの証明書を作成させることができます。 APPUSER はCData 製品でアクセス設定するユーザーアカウント名、ADMINISTRATOR は証明書を受け取るユーザー名です。
load proton --setupclient "APPUSER" --sendto "ADMINISTRATOR"新しい証明書は、Notes のADMINISTRATOR メールボックスから利用できます。証明書は、クライアント証明書(clientcert)およびキー(clientkey)の2ファイルに分けて送信される場合があります。 キーファイルのテキストを証明書ファイルの末尾にコピーアンドペーストして、2つのファイルを結合する必要があります。
匿名アクセスでは、CData 製品はAnonymous という一般的なユーザーアカウントで接続します。 接続するすべてのデータベースには、次の2つの権限が設定される必要があります。
接続するには以下を設定します。
CData 製品は、クライアント証明書を使用してProton に認証することも、匿名アクセスで認証することも可能です。
クライアント証明書で認証するには以下を設定します。
匿名認証を使用するには、AuthScheme をAnonymous に設定します。
JDBC 接続文字列URL の作成には、HCL Domino JDBC Driver にビルトインされたデザイナを使用できます。JAR ファイルをダブルクリックするか、コマンドラインでJAR ファイルを実行するとデザイナが開きます。
java -jar cdata.jdbc.domino.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
scala> val domino_df = spark.sqlContext.read.format("jdbc").option("url", "jdbc:domino:Server=https://domino.corp.com;Database=names.nsf;Port=3002;SSLClientCertType=PEMKEY_FILE;SSLClientCert=full_path_of_certificate.pem;SSLServerCert=*").option("dbtable","ByName").option("driver","cdata.jdbc.domino.DominoDriver").load()
HCL Domino をテンポラリーテーブルとして登録します:
scala> domino_df.registerTable("byname")
データに対して、次のようなカスタムSQL クエリを実行します。
scala> domino_df.sqlContext.sql("SELECT Name, Address FROM ByName WHERE City = Miami").collect.foreach(println)
コンソールで、次のようなHCL Domino データを取得できました!これでHCL Domino との連携は完了です。
CData JDBC Driver for Domino をApache Spark で使って、HCL Domino に対して、複雑かつハイパフォーマンスなクエリを実行できます。30日の無償評価版 をダウンロードしてぜひお試しください。