エンタープライズサーチのNeuron にAzure Data Catalog データを取り込んで検索利用

こんにちは！リードエンジニアの杉本です。

ブレインズテクノロジー社のNeuron は、先端OSS 技術（Apache Solr）を活用したエンタープライズサーチ（企業内検索エンジン）サービスです。Apache Solr は、エンタープライズサーチ機能をAPI として提供してくれますが、Neuron はApache Solr に企業ユーザーがデータを探索するためのシンプルかつ使いやすいユーザーインターフェースと管理画面・運用機能を提供してくれます。これによりエンドユーザーが簡単にエンタープライズサーチを利用することができます。管理画面では、ファイルやデータのクローリング設定がUI で行えるようになっています。この記事では、Neuron に備わっているJDBC インターフェース経由で、CData JDBC Driver for AzureDataCatalog を利用することでNeuron にAzure Data Catalog データを取り込んで検索で利用できるようにします。

Neuron にCData JDBC Driver for AzureDataCatalog データをロード

CData JDBC Driver for AzureDataCatalog のインストールと.jar ファイルの配置

• CData JDBC Driver for AzureDataCatalog をNeuron と同じマシンにインストールします。
• 以下のパスにJDBC Driver がインストールされます。
  C:\Program Files\CData\CData JDBC Driver for AzureDataCatalog 20xxJ\lib\cdata.jdbc.azuredatacatalog.jar
  
• このcdata.jdbc.azuredatacatalog.jar とcdata.jdbc.azuredatacatalog.lic ファイルをコピーして、Neuron のC:\APP cf\lib フォルダに配置します。

Neuron CF でのAzure Data Catalog データを扱うリポジトリの作成

• Neuron CF でクローラーの設定をGUI で行います。JDBC を読み取るためのリポジトリを作成します。Neuron の管理画面にログインし、［リポジトリ］→［リポジトリコレクション一覧］→［新規］をクリックします。
• 任意のリポジトリ名を入力します。タイプは［JDBC］を選択します。
• 次に、ドライバーのクラス名とJDBC 接続文字列でAzure Data Catalog への接続を行います。
  

  You can optionally set the following to read the different catalog data returned from Azure Data Catalog.

  CatalogName: Set this to the CatalogName associated with your Azure Data Catalog. To get your Catalog name, navigate to your Azure Portal home page > Data Catalog > Catalog Name

  Connect Using OAuth Authentication

  You must use OAuth to authenticate with Azure Data Catalog. OAuth requires the authenticating user to interact with Azure Data Catalog using the browser. For more information, refer to the OAuth section in the help documentation.

  
  ドライバクラス名：cdata.jdbc.azuredatacatalog.AzureDataCatalogDriver
  接続文字列：jdbc:azuredatacatalog:InitiateOAuth=REFRESH
• ［更新］をクリックして、Azure Data Catalog に接続するリポジトリコレクションができました。

Neuron でAzure Data Catalog のデータをクローリングするジョブを作成

続いて、Azure Data Catalog のどのデータをどのようにクローリングするのかをジョブで定義していきます。

• 管理画面で［ジョブ］→［ジョブ一覧］→［新規］とクリックします。
• 任意のジョブ名を入力します。出力先にはSolr を選択します。リポジトリは先ほど作成したAzure Data Catalog に接続するリポジトリコレクションを選びます。
• 次に基本タブからジョブ実行を手動にするか、定期実行するかを自由に設定します。
• SQL タブでは、どんなデータを取得するのか、テーブル名やカラム、フィルタリング条件などを設定できます。CData JDBC Driver がAzure Data Catalog データをテーブルにモデル化しているので、標準SQL でAzure Data Catalog をクエリすることができます。
  • SQL文：SELECT DslAddressDatabase, Type FROM Tables
  • キーカラム：Id など取得テーブルのキーとなるカラム
  • 検索対象カラム：検索の対象とするカラム
  • タイトルカラム：検索結果のタイトルとするカラム
  • タイムスタンプカラム：タイムスタンプとなるカラムがあれば、ここで指定します
• リクエストパラメータでは、検索結果レコードのURL （があれば）を設定することもできます。URL を表示できると表示された検索結果からレコードに簡単に移動できます。
• 取得元では、ラベルを設定しておきます。［更新］をクリックして、クローラージョブの設定を完了します。

Neuron でAzure Data Catalog データをクロールするジョブを実行

実際にNeuron で作成したジョブを実行します。［ジョブ］→［状態とジョブ管理］をクリックし、作成したジョブの［Start］をクリックします。

ジョブが正常完了すると、［Done］がステータスとして表示されます。

Neuron 上でのAzure Data Catalog データの検索の実施

実際にNeuron 上で検索ができるか確認してみます。取得元を絞り込むこと、内容やファイル名での検索、ファイルサイズやファイル更新日の絞り込み、部分一致や全部一致で検索が可能です。 検索をかけてみると、以下のようにデータを取得できました。

CData JDBC Driver for AzureDataCatalog をNeuron で使うことで、Azure Data Catalog コネクタとして機能し、簡単にデータを取得して同期することができました。ぜひ、30日の無償評価版をお試しください。