ETL ツールのEmbulk を使ってDB2 データをDB にロードする方法

こんにちは！リードエンジニアの杉本です。

Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for DB2 を使って、DB2 のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。

Embulk でDB2 のデータをロード

• CData JDBC Driver for DB2 をEmbulk と同じマシンにインストールします。CData JDBC ドライバは30日間の無償トライアルが利用できるので、サイドバーからお気軽にダウンロードしてご利用ください。
• 以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
  C:\Program Files\CData\CData JDBC Driver for DB2 2019J\lib\cdata.jdbc.db2.jar

• 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。

  https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc

  インストール用のコマンドはこちら：

  embulk gem install embulk-input-jdbc

• 今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。

  https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql

  コマンドはこちら。

  embulk gem install embulk-output-mysql
• config ファイルを作成し、DB2 -> MySQL のジョブを作成します。db2-mysql.yml というファイル名で、以下の内容で作成しました。
in: type: jdbc driver_path: C:\Program Files\CData\CData JDBC Driver for DB2 2024J\lib\cdata.jdbc.db2.jar driver_class: cdata.jdbc.db2.DB2Driver url: jdbc:db2:Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=test; table: "Orders" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "Orders" mode: insert
• JDBC URL の内容は、ご利用の環境や資格情報を入力してください。

  DB2 への接続には以下を入力します：

  • Server: DB2 が稼働しているサーバー。
  • Port: DB2 サーバーのポート。
  • Database: DB2 のデータベース。
  • User: DB にアクセスする権限のあるユーザー名。
  • Password: DB にアクセスする権限のあるユーザーのパスワード。

  対応するDB2 のドライバーをインストールする必要があります。

  • Windows: IBM Data Server Provider for .NET

    Windows では、IBM Data Server Provider をインストールするだけで十分です。インストールがmachine.config への書き込みを行います。

  • Java: IBM Data Server Driver for JDBC

    Java では、IBM Data Server Driver JAR をアプリケーションのwww\WEB-INF\lib\ フォルダに配置する必要があります。

  パスワード方式によるSSH 接続

  パスワード方式によるSSH接続時に必要なプロパティ一覧を以下に示します。

  • User: DB2 のユーザ
  • Password: DB2 のパスワード
  • Database: DB2 の接続先データベース
  • Server: DB2 のサーバー
  • Port: DB2 のポート
  • UserSSH: "true"
  • SSHAuthMode: "Password"
  • SSHPort: SSH のポート
  • SSHServer: SSH サーバー
  • SSHUser: SSH ユーザー
  • SSHPassword: SSH パスワード

  接続文字列形式では以下のようになります。

  Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=testUseSSH=true;SSHAuthMode=Password;SSHPort=22;SSHServer=ssh-server;SSHUser=root;SSHPassword=sshpasswd;

  公開鍵認証方式方式によるSSH 接続

  公開鍵認証によるSSH接続時に必要なプロパティ一覧を以下に示します。

  • User: DB2 のユーザ
  • Password: DB2 のパスワード
  • Database: DB2 の接続先データベース
  • Server: DB2 のサーバー
  • Port: DB2 のポート
  • UserSSH: "true"
  • SSHAuthMode: "Public_Key"
  • SSHClientCertType: キーストアの種類
  • SSHPort: SSH のポート
  • SSHServer: SSH サーバー
  • SSHUser: SSH ユーザー
  • SSHClientCert: 秘密鍵ファイルのパス

  接続文字列形式では以下のようになります。

  Server=10.0.1.2;Port=50000;User=admin;Password=admin;Database=test;UseSSH=true;SSHAuthMode=Public_Key;SSHClientCertType=PUBLIC_KEY_FILE;SSHPort=22;SSHServer=ssh-server;SSHUser=root;SSHClientCert=C:\Keys\key.pem;
• テーブル名は取得したいテーブル名を入れます。
• これで準備完了です。あとは「embulk run」で実行するだけです。
embulk run db2-mysql.yml
• 実行後MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。

クエリ条件でフィルタリングしたデータのロード

ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。

おわりに

CData JDBC Driver for DB2 をEmbulk で使うことで、DB2 と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。