CData Sync で DB2 for IBM i (AS/400) のデータをGoogle BigQuery に同期する

by 浦邊信太郎 | 2022年11月10日

本記事ではCData Sync を使用し、 DB2 for IBM i (AS/400) のデータをGoogle BigQuery に同期する方法を紹介します。

CData Sync

CData Sync はCData Software が提供するデータパイプラインツールで、SaaS、DB、アプリケーションのデータレプリケーションを実現します。従来利用している基幹システムとSaaS との連携や、データウェアハウスやクラウドDB を介したBI、帳票ツールとの連携など、幅広い用途に使用できます。

CData Sync の概要

CData Sync はデータソースから同期先へのデータレプリケーションを行いますが、このプロセスを構成する要素として「接続」と「ジョブ」があります。「接続」は各サービスやDB への接続、「ジョブ」は2つの接続間のデータ同期の実行単位です。同期を行うには、必ずデータソースと同期先の2つの接続と、接続間のデータ同期を実行する1つのジョブを作成します。

シナリオ

今回Sync の操作方法を説明するにあたり、想定するシナリオを以下に示します。DB2 for IBM i にURIAGE という商品の売上情報を記録したテーブルがあり、それをGoogle BigQuery にレプリケーションします。このとき、Google BigQuery には同名のテーブルが無いものとします。Sync は、同期時にテーブルが無い場合には自動的にテーブルを新規作成し、当該テーブルにデータを書き込みます。

接続の作成

はじめに、データソース(DB2)、同期先(Google BigQuery)の2つの接続を作成します。

DB2 for IBM i への接続の作成

メニューの[接続]をクリックし、接続設定画面を開きます。

[データソース]タブの中にある[DB2]をクリックします。

接続設定画面が表示されますので、DB2 for IBM i への接続情報を入力します。[保存およびテスト]をクリックするとDB2への接続テストが行われ、問題がある場合はエラーメッセージが表示されます。

接続テストに成功すると設定が保存されます。

Google BigQuery への接続の作成

先ほどと同様にメニューの[接続]をクリックし、接続設定画面を開きます。今度は[同期先]タブを開き、[Google BigQuery]を選択してください。

接続設定画面が表示されますので、Google BigQuery への接続情報を入力します。接続先のプロジェクトを示す[Project Id] は必須です。

[次に接続 Google BigQuery]をクリックするとGoogle BigQuery への認証を行います。ここで行う認証はOAuth 認証と呼ばれる認証方式で、ブラウザでサービスへのログインを通して行います。接続するとブラウザが起動し、Google へのログイン画面が表示されますので、Google BigQueryを利用するGoogle アカウントでログインしてください。ログインに成功すると以下のようにアクセス権の確認画面が表示される場合があります。内容を確認し、[続行]をクリックしてください。

認証に成功すると以下のように「認証に成功しました」というメッセージが表示されます。

最後に[作成およびテスト]をクリックして接続を保存してください。

ジョブの作成

続いてDB2 からGoogle BigQuery への同期を行うジョブを作成します。メニューの[ジョブ]を開き、[ジョブを作成]をクリックします。

[ジョブ名]に適当なジョブ名を入力し、[ソース]として先ほど作成したDB2 接続、[同期先]としてGoogle BigQuery への接続を設定します。[作成]をクリックするとジョブが作成されます。ここで設定したジョブ名、ソース、同期先は後から変更できませんのでご注意ください。

続いてこのジョブで同期するテーブルを設定します。1つのジョブは複数の「タスク」で構成されます。タスクは1つのテーブルの同期を実行します。複数のテーブルを同期する場合は同期するテーブルの数だけタスクを作成します。ジョブの作成直後はタスクがありませんので、まず[タスクを追加]をクリックします。

このタスクで同期するテーブルを選択します。上のコンボボックスでDB を選択すると、そのDB に含まれるテーブルが表示されます。今回はDB2 の「CData.URIAGE」 テーブルを同期します。同期するテーブルをチェックし、[追加]ボタンをクリックしてください。

以下のようにタスクが追加されました。タスクをクリックするとカラムマッピングなど同期に関する様々な設定を行うことができます。ジョブの[変更を保存]をクリックするとジョブが保存されます。

これで同期の準備は完了です。

同期の実行

ジョブを開き、実行するタスクをチェックして[実行]ボタンをクリックすると同期を開始します。

タスクの実行が完了するとステータス欄が更新されます。成功すると以下のように同期されたレコード数が表示されます。

Google BigQuery のデータを見ると、URIAGE テーブルが作成され、データが同期されていることが確認できます。

おわりに

本記事ではCData Sync を使用し、 DB2 for IBM i (AS/400) のデータをGoogle BigQuery に同期する方法を紹介しました。もちろんGoogle BigQuery だけでなく以下のように様々なDB、データウェアハウスに対してデータを同期することができます。

Sync は30日間無料でご試用いただけます。DB2 for IBM i との連携をお考えの方はこの機会にぜひお試しください。

関連コンテンツ