ETL ツールのEmbulk を使ってWorkday データをDB にロードする方法

こんにちは！リードエンジニアの杉本です。

Embulk は、大量のデータをDB、クラウドデータストア、DWH にロードできるオープンソースETL ツールです。近頃のトレンドでは1社で複数のオンプレアプリやSaaS を使っており、データ分析にはETL ツールを使ってデータを丸ごとDB/DWH にロードしてから、分析や可視化をすることが主流になっています。Embulk にはいろいろなプラグインがあり、多様なInput とOutput 処理をサポートしています。この記事では、Embulk のJDBC Input Plugin と CData Driver for Workday を使って、Workday のデータを簡単にDB にロードする方法をご紹介します。この例ではロード先のDB にはMySQL を使います。

Embulk でWorkday のデータをロード

• CData JDBC Driver for Workday をEmbulk と同じマシンにインストールします。CData JDBC ドライバは30日間の無償トライアルが利用できるので、サイドバーからお気軽にダウンロードしてご利用ください。
• 以下のパスにJDBC Driver がインストールされます。後ほどこのパスを使います。
  C:\Program Files\CData\CData JDBC Driver for Workday 2019J\lib\cdata.jdbc.workday.jar

• 次に、EmbulkとCData JDBC Driverをつなぎこむための、JDBC Input Plugin をインストールします。以下のリンクからダウンロードできます。

  https://github.com/embulk/embulk-input-jdbc/tree/master/embulk-input-jdbc

  インストール用のコマンドはこちら：

  embulk gem install embulk-input-jdbc

• 今回はロード先DB としてMySQL を使います。ほかにもSQL Server、PostgreSQL、Google BigQuery などを使うことも可能です。ロードに必要な以下のプラグインをインストールしましょう。

  https://github.com/embulk/embulk-output-jdbc/tree/master/embulk-output-mysql

  コマンドはこちら。

  embulk gem install embulk-output-mysql
• config ファイルを作成し、Workday -> MySQL のジョブを作成します。workday-mysql.yml というファイル名で、以下の内容で作成しました。
in: type: jdbc driver_path: C:\Program Files\CData\CData JDBC Driver for Workday 2024J\lib\cdata.jdbc.workday.jar driver_class: cdata.jdbc.workday.WorkdayDriver url: jdbc:workday:User=myuser;Password=mypassword;Tenant=mycompany_gm1;Host=https://wd3-impl-services1.workday.com table: "Workers" out: type: mysql host: localhost database: DatabaseName user: UserId password: UserPassword table: "Workers" mode: insert
• JDBC URL の内容は、ご利用の環境や資格情報を入力してください。

  Workday 接続プロパティの取得・設定方法

  ここでは、4つのWorkday API の接続パラメータを設定する方法、およびTenant とBaseURL を取得する方法について説明します。必要なAPI のパラメータが設定され、カスタムOAuth および / またはAzure AD API クライアントを作成したら、接続の準備は完了です。

  接続の前提条件

  API / 前提条件 / 接続パラメータ
  WQL / WQL サービスを有効化（下記参照） / ConnectionType： WQL
  Reports as a Service / カタログレポートの設定（ヘルプドキュメントの「データアクセスのファインチューニング」参照） / ConnectionType： Reports
  REST / 自動で有効化 / ConnectionType： REST
  SOAP / 自動で有効化 / ヘルプドキュメントのWorkday SOAP API への認証を参照

  BaseURL およびTenant の取得

  BaseURL およびTenant プロパティを取得するため、Workday にログインしてView API Clients を検索します。 この画面では、Workday はBaseURL とTenant の両方を含むURL であるWorkday REST API Endpoint を表示します。

  REST API Endpoint のフォーマットは、 https://domain.com/subdirectories/mycompany です。ここで、
  

  • https://domain.com/subdirectories/ はBaseURL です。
  • mycompany（URL の最後のスラッシュの後の部分）はTenant です。

  例えば、REST API エンドポイントがhttps://wd3-impl-services1.workday.com/ccx/api/v1/mycompany の場合、 BaseURL はhttps://wd3-impl-services1.workday.com であり、Tenant はmycompany です。

  WQL サービスを有効化

  Workday WQL API を介して接続するには、はじめにWQL Service を有効にする必要があります。
  1. Workday を開きます。
  2. 検索バーにView Domain と入力します。
  3. プロンプトにWorkday Query Language と入力します。
  4. Allowed Security Group Types のいずれかに、接続するユーザーが含まれていることを確認します。

  Workday への認証

  Basic 認証以外のほとんどのWorkday 接続では、認証のためにOAuth ベースのカスタムAPI クライアントアプリケーションを作成する必要があります。これには、ユーザーがAzure AD 資格情報を介して接続するエンタープライズインストールも含まれます。 Workday への認証につての詳細は、ヘルプドキュメントの「Workday への認証」セクションを参照してください。

• テーブル名は取得したいテーブル名を入れます。
• これで準備完了です。あとは「embulk run」で実行するだけです。
embulk run workday-mysql.yml
• 実行後MySQL Workbenchからテーブルを確認してみると、データが取得できているはずです。

クエリ条件でフィルタリングしたデータのロード

ちなみに、上記の例ではテーブル名を直接指定しましたが、以下のようにSQL クエリを書いてもいいです。 WHERE 句で作成日や修正日を指定すれば、最新のデータだけを対象にすることも可能です。

おわりに

CData JDBC Driver for Workday をEmbulk で使うことで、Workday と連携して簡単にデータを取得できます。ぜひ、30日の無償評価版をお試しください。