ETL/ELT のEmbulk を使ってBacklog データをDB にロードする方法

Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは、1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL/ELT ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析やビジュアライズをすることが主流になっています。Embulk には、いろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for Backlog を使って、Backlog のデータを簡単にDB にロードします。この例ではロード先のDB にはMySQL を使います。

Embulk でCData JDBC Driver for Backlog データをロード

• CData JDBC Driver for Backlog をEmbulk と同じマシンにインストールします。
• 以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
  C:\Program Files\CData\CData JDBC Driver for Backlog 2019J\lib\cdata.jdbc.backlog.jar
  
• 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。
  https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc
embulk gem install embulk-input-jdbc
• 今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。
  https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql embulk gem install embulk-output-mysql
• config ファイルを作成し、Backlog -> MySQL のジョブを作成します。backlog-mysql.yml というファイル名で作成しました。

            
                in:
                    type: jdbc
                    driver_path: C:\Program Files\CData\CData JDBC Driver for Backlog 2019J\lib\cdata.jdbc.backlog.jar
                    driver_class: cdata.jdbc.backlog.BacklogDriver
                    url: jdbc:backlog:ApiKey=YOUR_API_KEY;Url=https://yourURL.backlog.com;
                    table: "Issues"
                out: 
                    type: mysql
                    host: localhost
                    database: DatabaseName
                    user: UserId
                    password: UserPassword
                    table: "Issues"
                    mode: insert
            
        

• ポイントはJDBC URLです。

  Backlog への接続に使用できる認証方法は、API キーおよびOAuth の2つです。

  API キー認証

  ApiKey およびURL をログインクレデンシャルに設定します。 ApiKey を取得するには：

  1. Backlog の個人設定ページを開きます。
  2. 「API」セクションをクリックして、「メモ」にAPI キーについての説明を追加し、「登録」ボタンをクリックします。トークンが生成されます。
  3. ApiKey にAPI キーを指定します。
  4. URL はBacklog のテナントURL から取得できます。

  OAuth 認証

  ユーザー名やパスワードへのアクセスを保有していない場合や、それらを使いたくない場合にはOAuth ユーザー同意フローを使用します。認証方法については、ヘルプドキュメントを参照してください。
• テーブル名は取得したいテーブル名を入れます。
• これで準備完了です。あとは「embulk run」で実行するだけです。
embulk run backlog-mysql.yml
• 実行後、MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。

クエリ条件でフィルタリングしたデータのロード

ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL Queryを書いてもいいです。 Where句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。

        
            in:
            type: jdbc
            driver_path: C:\Program Files\CData\CData JDBC Driver for Backlog 2019J\lib\cdata.jdbc.backlog.jar
            driver_class: cdata.jdbc.backlog.BacklogDriver
            url: jdbc:backlog:ApiKey=YOUR_API_KEY;Url=https://yourURL.backlog.com;
                query: "SELECT Id, ProjectID FROM Issues WHERE [RecordId] = 1"
            out: 
                type: mysql
                host: localhost
                database: DatabaseName
                user: UserId
                password: UserPassword
                table: "Issues"
                mode: insert
        
    

CData JDBC Driver for Backlog をEmbulk で使うことで、Backlog コネクタとして機能し、簡単にデータを取得して同期することができました。ぜひ、30日の無償評価版をお試しください。