ETLツール DataSpirder を使って SmartDB の顧客情報をグローバルERP の NetSuite に連携:CData JDBC Driver

by 杉本和也 | 2020年03月30日

こんにちは。CDataリードエンジニアの杉本です。

今回は ETLツールの DataSpiderを使って、SmartDBとグローバルERPのNetSuiteを接続・連携する方法を紹介します。

SmartDB とは?

「SmartDB」はバックオフィスからフロントオフィスまであらゆる部門の業務に対応し活用することが可能な、大企業に特化したWebデータベースのクラウドサービスです。

https://hibiki.dreamarts.co.jp/smartdb/

f:id:sugimomoto:20200227111030p:plain

「SmartDB」の30日間無料トライアルはこちらからどうぞ。

hibiki.dreamarts.co.jp

SmartDB ではバインダーやドキュメントの取得・更新からユーザー・ロールの管理まで、幅広い機能に対応したREST APIが公開されています。

https://doc.support-dreamarts.com/SmartDB/V46/RestDoc4.6.0/index.html

f:id:sugimomoto:20200227111036p:plain

実現イメージ

DataSpirderでは多種多様なコネクタを標準装備していますが、現在SmartDBへシームレスに接続できるコネクタは提供されていません。

https://www.hulft.com/software/dataspider/product#anc_02

f:id:sugimomoto:20200206213738p:plain

Web API向けのコネクタを利用することもできますが、各APIに関する知識の習得やページネーションや認証処理を踏まえなければ自由にデータを操作することはできません。

そこで、CData JDBC Driverを使用してこのボトルネックを解消します。

DataSpirderには予めJDBC用のインターフェースが提供されているため、SmartDB REST API を CData Driverインターフェースでアクセスできるようにしてしまいます。

f:id:sugimomoto:20200227151003p:plain

これによりユーザーは SmartDB や NetSuite など、それぞれ仕様が違うAPIを意識すること無く、DataSpirderなどのETLツールで扱えるようになります。

本記事のシナリオ

本記事では前述の通りSmartDB上の顧客情報をNetSuiteのコンタクトへ連携します。

以下のようなデータを50件ほど用意しました。

f:id:sugimomoto:20200227151011p:plain

このデータを以下の NetSuite の 顧客リスト・Customer に連携します。

f:id:sugimomoto:20200227151017p:plain

手順

それでは実際に DataSpirder とSmartDB・NetSuite の連携方法を説明します。

REST データ処理用 RSDファイルの作成

次に、SmartDB API を CData 各種 REST DeiverがSQLとして解釈できるように設定ファイルを作成します。

SmartDBはいくつかテーブルに該当するドキュメントとビューを定義できます。今回は案件情報を取得するためのビューを予め定義しておきましたので、それを元に設定ファイルを作成しておきました。設定ファイルをカスタマイズすることで、様々なビューに対応させることが可能です。

f:id:sugimomoto:20200227111059p:plain

以下のGitHubから保存してください。

https://github.com/sugimomoto/CData.REST.SmartDB

保存先フォルダは後ほど使用するので「C:\CData_REST\SmartDB」といった書き込み可能な任意のフォルダに配置してください。

f:id:sugimomoto:20200227111128p:plain

CData JDBC Driverのインストール

DataSpirder と SmartDB API を繋ぐために必要となるCData JDBC REST Driverをインストールします。

まず、以下のURLからCData REST ODBC Driverの30日間の評価版をダウンロードします。ダウンロードの際には、Emailの登録が必要となります。

https://www.cdata.com/jp/drivers/rest/download/jdbc/

f:id:sugimomoto:20200206214116p:plain

ダウンロード後、セットアップを実施します。

また、合わせてNetSuite JDBC Driverも使用していますので、こちらも同様にダウンロード・セットアップを行っておきます。

https://www.cdata.com/jp/drivers/netsuite/download/jdbc/

JDBC Driver の設定

次にDataSpirderでJDBC Driverを利用できるように、JDBC ライブラリファイルをDataSpirderのPluginフォルダに移動します。

必要なファイルは以下の5種類です。

C:\Program Files\CData\CData JDBC Driver for REST 2019J\lib

  • cdata.jdbc.rest.jar
  • cdata.jdbc.rest.lic
  • rssbus.jar

C:\Program Files\CData\CData JDBC Driver for NetSuite 2019J\lib

  • cdata.jdbc.netsuite.jar
  • cdata.jdbc.netsuite.lic

f:id:sugimomoto:20200206214124p:plain

この5種類のファイルをそのまま以下のフォルダにコピーします。

C:\Program Files (x86)\DataSpiderServista\server\plugin\data_processing\modules\jdbc_adapter

f:id:sugimomoto:20200206214129p:plain

最後にDataSpirderのサービスを再起動すれば準備完了です。

f:id:sugimomoto:20200206214135p:plain

DataSpider Studioの起動と新規プロジェクトの作成

それでは、DataSpirderで作業をはじめていきましょう。DataSpirder Studioを起動し、新規プロジェクトを作成します。

f:id:sugimomoto:20200206214140p:plain

任意のプロジェクト名で作成を行ってください。予めスクリプトも作成しておきましょう。

f:id:sugimomoto:20200206214146p:plain

SmartDB データ取得処理作成

次に SmartDB からデータの取得処理を作成します。右側のツールボックスから「データベース」→「JDBC」→「テーブルの読み取り」を選択し、フロー画面にドラッグ・アンド・ドロップで配置します。

f:id:sugimomoto:20200206214152p:plain

接続先から「追加」を選択し

f:id:sugimomoto:20200206214157p:plain

以下の情報でJDBCの接続情報を作成します。Locationには先程の接続ファイルを配置したフォルダ、User・Password、URIにはそれぞれSmartDBの接続情報を入力してください。

  • 名前:SmartDB
  • ドライバクラス名:cdata.jdbc.rest.RESTDriver
  • URL:jdbc:rest:GenerateSchemaFiles=None;User=XXXX;Password=XXXXX;URI=https://XXXX.smartdb.jp;Location=C:\CData_REST\SmartDB;

f:id:sugimomoto:20200206214202p:plain

接続情報を作成後、テーブル一覧から「顧客一覧」テーブルを選択します。「接続テスト」をクリックし、接続が問題なければ、「完了」をクリックし、設定終了です。

f:id:sugimomoto:20200227182910p:plain

NetSuite データ書き込み処理作成

続いて NetSuite への書き込み処理も作成しましょう。

先程と同様に「データベース」→「JDBC」から、今度は「テーブル書き込み」を選択し、ドラッグ・アンド・ドロップでフロー画面に配置します。

f:id:sugimomoto:20200206214232p:plain

先程と同じように接続先から「追加」をクリックし

f:id:sugimomoto:20200206214236p:plain

以下のように接続情報を入力します。

  • 名前:NetSuite
  • ドライバクラス名:cdata.jdbc.netsuite.NetSuiteDriver
  • URL:jdbc:netsuite:AccountId=XXXX;user=XXXX;password=XXXXX;

f:id:sugimomoto:20200206214202p:plain

接続設定完了後、テーブル一覧から「contact」テーブルを選択し、「完了」をクリックします。

f:id:sugimomoto:20200227182925p:plain

マッピング処理の作成

最後に SmartDB と NetSuite のデータをマッピングするための処理を作成します。

フロー画面から SmartDB の処理をドラッグ・アンド・ドロップし、NetSuite の書き込み処理に移動させます。

f:id:sugimomoto:20200206214252p:plain

すると、以下のようなフローの作成画面が表示されるので「プロセスフローとデータフローを引く」を選択し「マッピングを追加する」にチェックを入れて、「OK」をクリックします。

f:id:sugimomoto:20200206214257p:plain

以下のようにマッピング処理が作成されるので、ダブルクリックで詳細画面を表示します。

f:id:sugimomoto:20200206214303p:plain

ここでデータの取得元からデータの書き込み先、それぞれのカラムのマッピングをドラッグ・アンド・ドロップで行います。

f:id:sugimomoto:20200227183007p:plain

以下のように必要な項目をマッピングできればOKです。

f:id:sugimomoto:20200227183025p:plain

あとは「Start」と「End」をそれぞれ接続すれば、すべてのフローが完成です。

f:id:sugimomoto:20200206214308p:plain

実行

それでは実際にフローを実行してみましょう。画面上の「▶」ボタンをクリックします。

f:id:sugimomoto:20200206214323p:plain

実行後スクリプトが正常に完了すると、以下のようなメッセージボックスが表示されます。

f:id:sugimomoto:20200206214329p:plain

実際に NetSuite の画面を見ると、正常にデータが登録されていることがわかりました。

f:id:sugimomoto:20200227183049p:plain

今回はシンプルな登録処理を行いましたが、取得対象の条件抽出や条件による更新処理等、DataSpirderを挟むことで様々なデータ連携が実現できるようになります。

おわりに

本記事では DataSpirder をもとに解説しましたが、CData Driver ではDataSpirder以外の多様なETLツールやiPaaSの接続もサポートしています。

以下のURLで各ツールの接続リファレンスを公開していますので、普段使っているツールから是非試してみてください。

http://www.cdata.com/jp/drivers/rest/

f:id:sugimomoto:20200115120402p:plain

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。