データ分析基盤へのデータパイプラインツール『CData Sync』V22 をリリース


~変更データキャプチャ(CDC)強化、dbt Core 連携、Salesforce やBigQuery など主要コネクタで機能強化~


2022年9月28日、CData Software Japan 合同会社(本社:アメリカノースカロライナ州、日本オフィス:宮城県仙台市、代表社員 職務執行者 疋田 圭介、以下CData)は、SaaS / DB データをデータ分析基盤に統合するデータパイプラインツール『CData Sync』のV22 をリリースしました。
V22 のリリースでは、Salesforce、kintone、Google スプレッドシートなど主要コネクタで多くの機能追加、Oracle やMySQL などの変更データキャプチャ(CDC)機能の強化、dbt Core とのデータ変換処理の統合、同期データの履歴を保持するヒストリーモード機能の追加など多くの機能強化を行っています。

CData Sync 製品ページへ

CData Sync は、400種類以上のSaaS やDB のデータを分析基盤DB / DWH にノーコードで同期できるデータパイプラインツールです。Salesforce、Dynamics 365、NetSuite、SAP、kintone などの業務データをMySQL、SQL Server、PostgreSQL などのRDB やBigQuery、Redshift、Snowflake などのクラウドデータウェアハウス(DWH)に簡単に統合します。CData Sync は企業のデータ活用のプロセスである「データ収集、データ整備、データ活用」のうちで大きなエンジニアリング負荷がかかるデータ収集のフェーズを担い、企業のリソースをデータの活用に集中できるようサポートします。

■対応データソースの追加

企業のSaaS 利用は急速に拡大し、アメリカでは1企業が平均で110種類以上のSaaS を使用しています。業務データ・顧客データはそれらのSaaS に分散してしまっているため、データの活用にはデータ分析基盤へのデータ統合が必須です。CData Sync では以下のようなデータソースに新たに対応し、400種類を超えるSaaS / DB が利用可能です。

対応データソースリスト

■CDC 機能をOracle、MySQL で強化

CData Sync では、SaaS だけでなくRDB からのデータをレプリケーションすることが可能です。CDC 機能を使ってレプリケーションを行うことで、RDB にSELECT クエリで負担を掛けることなくRDB の変更データだけを同期することができるようになります。CData Sync V22 では、Oracle DB およびMySQL のCDC 対応機能を強化しました。すでにMicrosoft SQL Server、PostgreSQL のCDC に対応しています。CData Sync はオンプレミスおよびAWS / Azure / GCP などのクラウドに自由に配置して利用できるため、基幹RDB などのデータのクラウド分析環境へのセキュアなレプリケーションに適しています。

CData Sync でのCDC の活用記事:リンク

■ELT モデルの「T(データ変換)」を行うdbt Transformations を追加

CData Sync は、ELT(Extract、Load、Transfer)モデルに適していて、Salesforce やスマレジなどの多様な業務データを生データに近い形でDWH に格納します。Redshift やSnowflake などのDWH 側でデータをロードした後にデータの変換処理を行う場合にはdbt(data build tool)というツールが人気です。ELT 処理の「E&L」を担うCData Sync から「T(変換)」を担うdbt をシームレスに起動させられるようになりました。

dbt Core 統合の記事:リンク

■Google BigQuery への同期時のテーブル変更(ALTER TABLE)機能

CData Sync はデータソースのテーブル定義が変更された際に、データソースに合わせて同期先のテーブル定義を変更する機能があります。この機能がGoogle BigQuery データソースでも利用可能になりました。

BigQuery でのALTER TABLE の記事:リンク

■同期データの変更履歴を保持するヒストリーモード

CData Sync では、データソース側のレコード単位で変更履歴を保持することが可能になります。最新データだけでなく、「データの変更の動きを見る」のようなシナリオでリクエストが多い機能です。本機能はSalesforce、Dynamics 365、kintone をはじめとする差分更新対応のデータソースで有効です。同期先としては、SQL Server、MySQL、PostgreSQL、Oracle DB、Snowflake、Databricks、Redshift で利用可能です。

CData Sync ヒストリーモードの記事:リンク

■主要なデータソースのAPI 追従と機能追加

データソースとなるSaaS では、絶えず機能追加やAPI のバージョン変更が行われています。CData Sync では、個々のデータソースのAPI バージョンへの追従、認証方式への対応、ユーザーのリクエストによる新機能追加を行っています。これによりユーザーがデータソース変更の度にAPI 連携部分をプログラミングし直す必要がなく、CData Sync がノーコードでエンジニアリング負荷を最大限吸収します。

・主要なAPI への追従(一部):

  • Salesforce Pardot API V5
  • Google Analytics GA4
  • Elasticsearch OpenSearch 2.0
  • NetSuite API 2022.01
  • Twitter Ads API V11
  • Salesforce API V54
  • Facebook Ads API V13.0
  • Facebook API V13.0
  • Amazon Athena IMDS V2
  • Google Ads API V10

・機能追加(一部):

  • Salesforce:OAuth JWT 認証のサポート
  • kintone:フィールドコードのカラム利用
  • Google スプレッドシート:Folder プロパティに指定したフォルダの下階層にあるスプレッドシートの探索、Folders ビューの追加、シート上のデータテーブルのレンジ指定でのクエリ、スプレッドシートID、シートID をテーブル名として使用が可能に
  • Marketo:StaticLists の取得、ProgramMembers ビューをテーブルに変更
  • NetSuite:SuiteQL スキーマのテーブルを拡充、保存検索のカラム名としてラベルを適用

詳細はCData Drivers V22 リリースを参照:News リンク

■CData Sync ウェビナーを10/19 に開催

CData Sync V22 の新機能を紹介するウェビナーを開催いたします:ウェビナーリンク

<CData Software について:https://www.cdata.com/jp/

CData Software, Inc. は、クラウドデータのコネクティビティソリューションおよびデータ連携ツールのリーディングベンダーです。250以上のSaaS、NoSQL やアプリケーションデータに標準接続するドライバーとデータ接続テクノロジーの開発に特化し、各種ツール、クラウドサービス、カスタムアプリケーションからのリアルタイム接続を実現します。CData 製品は、世界中の企業のデータ統合ソリューションにて利用されているほか、Salesforce、TIBCO、アステリアなど150以上のデータ製品ベンダーにOEM されています。

CData Sync は、400+のSaaS / DB をサポートするデータパイプラインツールです。オンプレミスDB やクラウドに分散する業務データをノーコードでRDB やBigQuery、Redshift、Snowflake などのDWH に統合できます。

※本リリースに掲載する社名または製品名は、各社の商標または登録商標です。

製品・サービスに関するお問い合わせ先

CData Software Japan 合同会社   担当:對馬 陽子
〒980-0021 宮城県仙台市青葉区中央1-6-27 仙信ビル8F
E-mail:press@cdata.co.jp