製品をチェック

IBM Cloud Object Storage Driver の30日間無償トライアルをダウンロード

 ダウンロードはこちら

製品の詳細

IBM Cloud Object Storage アイコン IBM Cloud Object Storage JDBC Driver 相談したい

IBM Cloud Object Storage データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。

Elasticsearch へLogstash 経由でIBM Cloud Object Storage データをロードする方法

全文検索サービスElasticsearch のETL/ELT モジュール「Logstash」とCData JDBC Driver を使って、IBM Cloud Object Storage データを簡単にロードする方法をご紹介。

加藤龍彦
ウェブデベロッパー

最終更新日:2022-07-22
ibmcloudobjectstorage ロゴ

CData

jdbc ロゴ画像
Elasticsearch Logstash ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Elasticsearch は、人気の分散型全文検索エンジンです。データを一元的に格納することで、超高速検索や、関連性の細かな調整、パワフルな分析が大規模に、手軽に実行可能になります。Elasticsearch にはデータのローディングを行うパイプラインツール「Logstash」があります。CData Drivers を利用することができるので、30日の無償評価版をダウンロードしてあらゆるデータソースを簡単にElasticsearch に取り込んで検索・分析を行うことができます。

この記事では、CData Driver for IBMCloudObjectStorage を使って、IBM Cloud Object Storage のデータをLogstash 経由でElasticsearch にロードする手順を説明します。

Elasticsearch Logstash でCData JDBC Driver for IBMCloudObjectStorage を使用

  • CData JDBC Driver for IBMCloudObjectStorage をLogstash が稼働するマシンにインストールします。
  • 以下のパスにJDBC Driver がインストールされます(2022J の部分はご利用される製品バージョンによって異なります)。後ほどこのパスを使います。この.jar ファイル(製品版の場合は.lic ファイルも)をLogstash に配置します。
    C:\Program Files\CData\CData JDBC Driver for IBMCloudObjectStorage 2022J\lib\cdata.jdbc.ibmcloudobjectstorage.jar
  • 次に、Logstash とCData JDBC Driver をつなぐ、JDBC Input Plugin をインストールします。JDBC Plugin は最新のLogstash だとデフォルトでついてきますが、バージョンによっては追加する必要があります。
    https://www.elastic.co/guide/en/logstash/5.4/plugins-inputs-jdbc.html
  • CData JDBC Driver の.jar ファイルと.lic ファイルを、Logstashの「/logstash-core/lib/jars/」に移動します。

Logstash でElasticsearch にIBM Cloud Object Storage データを送る

それでは、Logstash でElasticsearch にIBM Cloud Object Storage データの転送を行うための設定ファイルを作成していきます。

  • Logstash のデータ処理定義であるlogstash.conf ファイルにIBM Cloud Object Storage データを取得する処理を書きます。Input はJDBC、Output はElasticsearch にします。データローディングジョブの起動間隔は30秒に設定しています。
  • CData JDBC Driver の.jar をjdbc driver ライブラリにして、クラス名を設定、IBM Cloud Object Storage への接続プロパティをJDBC URL の形でせっていします。JDBC URL ではほかにも詳細な設定を行うことができるので、細かくは製品ドキュメントをご覧ください。
  • Cloud Object Storage 接続プロパティの取得・設定方法

    Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

    Cloud Object Storage の新規インスタンスの登録

    IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

    1. IBM Cloud アカウントにログインします。
    2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

    API キー

    API キーは以下の手順で取得できます。

    1. まずは、IBM Cloud アカウントにログインします。
    2. API キーページに移動します。
    3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
    4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

    Cloud Object Storage CRN

    デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

    • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
    • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

    IBM Cloud Object Storage への接続

    これで準備は完了です。以下の接続プロパティを設定してください。

    • InitiateOAuthGETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
    • ApiKey:セットアップ中に控えたAPI キーを指定。
    • CloudObjectStorageCRN(オプション):控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

    プロパティを設定したら、これで接続設定は完了です。

                input {
                    jdbc {
                        jdbc_driver_library => "../logstash-core/lib/jars/cdata.jdbc.ibmcloudobjectstorage.jar"
                        jdbc_driver_class => "Java::cdata.jdbc.ibmcloudobjectstorage.IBMCloudObjectStorageDriver"
                        jdbc_connection_string => "jdbc:ibmcloudobjectstorage:ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;"
                        jdbc_user => ""
                        jdbc_password => ""
                        schedule => "*/30 * * * * *"
                        statement => "SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'"
                    }
                }
                    
                    
                output {
                    Elasticsearch {
                        index => "ibmcloudobjectstorage_Objects"
                        document_id => "xxxx"
                    }
                }
            

Logstash でIBM Cloud Object Storage のローディングを実行

それでは作成した「logstash.conf」ファイルを元にLogstash を実行してみます。

> logstash-7.8.0\bin\logstash -f logstash.conf

成功した旨のログが出ます。これでIBM Cloud Object Storage データがElasticsearch にロードされました。

例えばKibana で実際にElasticsearch に転送されたデータを見てみます。

        GET ibmcloudobjectstorage_Objects/_search
        {
            "query": {
                "match_all": {}
            }
        }
    
Elasticsearch にロードされたIBM Cloud Object Storage データをクエリ

データがElasticsearch に格納されていることが確認できました。

Elasticsearch にロードされたIBM Cloud Object Storage データを確認

CData JDBC Driver for IBMCloudObjectStorage をLogstash で使うことで、IBM Cloud Object Storage コネクタとして機能し、簡単にデータをElasticsearch にロードすることができました。ぜひ、30日の無償評価版をお試しください。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。