Elasticsearch へLogstash 経由でDropbox のデータをロードする方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Elasticsearch は、人気の分散型全文検索エンジンです。データを一元的に格納することで、超高速検索や、関連性の細かな調整、パワフルな分析が大規模に、手軽に実行可能になります。Elasticsearch にはデータのローディングを行うパイプラインツール「Logstash」があります。CData Drivers を利用することができるので、30日の無償評価版をダウンロードしてあらゆるデータソースを簡単にElasticsearch に取り込んで検索・分析を行うことができます。

この記事では、CData Driver for Dropbox を使って、Dropbox のデータをLogstash 経由でElasticsearch にロードする手順を説明します。

Elasticsearch Logstash でCData JDBC Driver for Dropbox を使用

• CData JDBC Driver for Dropbox をLogstash が稼働するマシンにインストールします。
• 以下のパスにJDBC Driver がインストールされます（2022J の部分はご利用される製品バージョンによって異なります）。後ほどこのパスを使います。この.jar ファイル（製品版の場合は.lic ファイルも）をLogstash に配置します。
  C:\Program Files\CData\CData JDBC Driver for Dropbox 2022J\lib\cdata.jdbc.dropbox.jar
  
• 次に、Logstash とCData JDBC ドライバをつなぐ、JDBC Input Plugin をインストールします。JDBC Plugin は最新のLogstash だとデフォルトでついてきますが、バージョンによっては追加する必要があります。
  https://www.elastic.co/guide/en/logstash/5.4/plugins-inputs-jdbc.html
• CData JDBC ドライバの.jar ファイルと.lic ファイルを、Logstashの「/logstash-core/lib/jars/」に移動します。

Logstash でElasticsearch にDropbox のデータを送る

それでは、Logstash でElasticsearch にDropbox のデータの転送を行うための設定ファイルを作成していきます。

• Logstash のデータ処理定義であるlogstash.conf ファイルにDropbox のデータを取得する処理を書きます。Input はJDBC、Output はElasticsearch にします。データローディングジョブの起動間隔は30秒に設定しています。
• CData JDBC ドライバの.jar をjdbc driver ライブラリにして、クラス名を設定、Dropbox への接続プロパティをJDBC URL の形でせっていします。JDBC URL ではほかにも詳細な設定を行うことができるので、細かくは製品ドキュメントをご覧ください。

OAuth では認証するユーザーにブラウザでDropbox との通信を要求します。CData 製品は、以下のようにさまざまな方法でこれを容易にします。 ユーザー資格情報の接続プロパティを設定せずに接続できます。 接続すると、CData 製品はデフォルトブラウザでOAuth エンドポイントを開きます。ログインして、CData 製品にアクセス許可を与えます。CData 製品がOAuth プロセスを完了します。

他のOAuth 認証フローについては、ヘルプドキュメントの「OAuth 認証の使用」を参照してください。

なお、Dropbox Driver はDropbox のファイルの一覧表示やユーザー管理情報の取得用です。Dropbox に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。

            input {
                jdbc {
                    jdbc_driver_library => "../logstash-core/lib/jars/cdata.jdbc.dropbox.jar"
                    jdbc_driver_class => "Java::cdata.jdbc.dropbox.DropboxDriver"
                    jdbc_connection_string => "jdbc:dropbox:InitiateOAuth=REFRESH"
                    jdbc_user => ""
                    jdbc_password => ""
                    schedule => "*/30 * * * * *"
                    statement => "SELECT Id, Name FROM Files"
                }
            }


            output {
                Elasticsearch {
                    index => "dropbox_Files"
                    document_id => "xxxx"
                }
            }
        

Logstash でDropbox のローディングを実行

それでは作成した「logstash.conf」ファイルを元にLogstash を実行してみます。

成功した旨のログが出ます。これでDropbox のデータがElasticsearch にロードされました。

例えばKibana で実際にElasticsearch に転送されたデータを見てみます。

        GET dropbox_Files/_search
        {
            "query": {
                "match_all": {}
            }
        }
    

データがElasticsearch に格納されていることが確認できました。

CData JDBC Driver for Dropbox をLogstash で使うことで、Dropbox コネクタとして機能し、簡単にデータをElasticsearch にロードすることができました。ぜひ、30日の無償評価版をお試しください。