エンタープライズサーチのNeuron にGoogle Data Catalog データを取り込んで検索利用

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Google Data Catalog JDBC Driver

Google Data Catalog データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



企業内検索エンジンサービスの Neuron にGoogle Data Catalog のデータを取り込んで検索する方法:CData JDBC Driver。

ブレインズテクノロジー社のNeuron は、先端OSS 技術(Apache Solr)を活用したエンタープライズサーチ(企業内検索エンジン)サービスです。Apache Solr は、エンタープライズサーチ機能をAPI として提供してくれますが、Neuron はApache Solr に企業ユーザーがデータを探索するためのシンプルかつ使いやすいユーザーインターフェースと管理画面・運用機能を提供してくれます。これによりエンドユーザーが簡単にエンタープライズサーチを利用することができます。管理画面では、ファイルやデータのクローリング設定がUI で行えるようになっています。この記事では、Neuron に備わっているJDBC インターフェース経由で、CData JDBC Driver for Google Data Catalog を利用することでNeuron にGoogle Data Catalog データを取り込んで検索で利用できるようにします。

Neuron にCData JDBC Driver for Google Data Catalog データをロード

CData JDBC Driver for Google Data Catalog のインストールと.jar ファイルの配置

  • CData JDBC Driver for Google Data Catalog をNeuron と同じマシンにインストールします。
  • 以下のパスにJDBC Driver がインストールされます。
    C:\Program Files\CData\CData JDBC Driver for Google Data Catalog 20xxJ\lib\cdata.jdbc.googledatacatalog.jar
  • このcdata.jdbc.googledatacatalog.jar とcdata.jdbc.googledatacatalog.lic ファイルをコピーして、Neuron のC:\APP cf\lib フォルダに配置します。

Neuron CF でのGoogle Data Catalog データを扱うリポジトリの作成

  • Neuron CF でクローラーの設定をGUI で行います。JDBC を読み取るためのリポジトリを作成します。Neuron の管理画面にログインし、[リポジトリ]→[リポジトリコレクション一覧]→[新規]をクリックします。
  • 任意のリポジトリ名を入力します。タイプは[JDBC]を選択します。
  • 次に、ドライバーのクラス名とJDBC 接続文字列でGoogle Data Catalog への接続を行います。

    Google Data Catalog uses the OAuth authentication standard. Authorize access to Google APIs on behalf on individual users or on behalf of users in a domain.

    Before connecting, specify the following to identify the organization and project you would like to connect to:

    • OrganizationId: The ID associated with the Google Cloud Platform organization resource you would like to connect to. Find this by navigating to the cloud console.

      Click the project selection drop-down, and select your organization from the list. Then, click More -> Settings. The organization ID is displayed on this page.

    • ProjectId: The ID associated with the Google Cloud Platform project resource you would like to connect to.

      Find this by navigating to the cloud console dashboard and selecting your project from the Select from drop-down. The project ID will be present in the Project info card.

    When you connect, the OAuth endpoint opens in your default browser. Log in and grant permissions to the application to completes the OAuth process. For more information, refer to the OAuth section in the Help documentation.


    ドライバクラス名:cdata.jdbc.googledatacatalog.GoogleDataCatalogDriver
    接続文字列:jdbc:googledatacatalog:ProjectId=YourProjectId;InitiateOAuth=REFRESH
  • [更新]をクリックして、Google Data Catalog に接続するリポジトリコレクションができました。

Neuron でGoogle Data Catalog のデータをクローリングするジョブを作成

続いて、Google Data Catalog のどのデータをどのようにクローリングするのかをジョブで定義していきます。

  • 管理画面で[ジョブ]→[ジョブ一覧]→[新規]とクリックします。
  • 任意のジョブ名を入力します。出力先にはSolr を選択します。リポジトリは先ほど作成したGoogle Data Catalog に接続するリポジトリコレクションを選びます。
  • 次に基本タブからジョブ実行を手動にするか、定期実行するかを自由に設定します。
  • SQL タブでは、どんなデータを取得するのか、テーブル名やカラム、フィルタリング条件などを設定できます。CData JDBC Driver がGoogle Data Catalog データをテーブルにモデル化しているので、標準SQL でGoogle Data Catalog をクエリすることができます。
    • SQL文:SELECT Type, DatasetName FROM Schemas
    • キーカラム:Id など取得テーブルのキーとなるカラム
    • 検索対象カラム:検索の対象とするカラム
    • タイトルカラム:検索結果のタイトルとするカラム
    • タイムスタンプカラム:タイムスタンプとなるカラムがあれば、ここで指定します
  • リクエストパラメータでは、検索結果レコードのURL (があれば)を設定することもできます。URL を表示できると表示された検索結果からレコードに簡単に移動できます。
  • 取得元では、ラベルを設定しておきます。[更新]をクリックして、クローラージョブの設定を完了します。

Neuron でGoogle Data Catalog データをクロールするジョブを実行

実際にNeuron で作成したジョブを実行します。[ジョブ]→[状態とジョブ管理]をクリックし、作成したジョブの[Start]をクリックします。

ジョブが正常完了すると、[Done]がステータスとして表示されます。

Neuron 上でのGoogle Data Catalog データの検索の実施

実際にNeuron 上で検索ができるか確認してみます。取得元を絞り込むこと、内容やファイル名での検索、ファイルサイズやファイル更新日の絞り込み、部分一致や全部一致で検索が可能です。 検索をかけてみると、以下のようにデータを取得できました。

CData JDBC Driver for Google Data Catalog をNeuron で使うことで、Google Data Catalog コネクタとして機能し、簡単にデータを取得して同期することができました。ぜひ、30日の無償評価版 をお試しください。