CData Sync のTips 集

by Jonathan Hikita 加藤龍彦 | 2023年05月11日

CData Sync は、Salesforce やkintone などのSaaS やRDB のデータを各種DB・DWH にノーコードで手軽にレプリケーション、データ転送できるデータパイプラインツールです。

CData Sync 概要

CData Sync | ノーコードデータレプリケーション / ETL ツール

CData Sync にはさまざまな特徴がありますが、主要なものとしては以下があげられます。

• 業界最多級を誇る、400種類以上の対応データソース
• ノーコードでシンプルな操作性
• 差分更新など高度な機能にも対応
• クラウド・オンプレミス双方に対応するなど、マルチプラットフォームに対応

データソースとして対応するSaaS、DB は400種類以上

Salesforce、SharePoint、Dynamics365、NetSuite、ServiceNow、kintone、スマレジなどCData Drivers ラインアップとして対応する250種類以上のSaaS。 

さらにAPI Driver でサンプルデータソースとして対応するSaaS 150種類上。日本の多くのSaaS にも対応しています。

対応するすべてのサービスについては、以下のリンクからご確認ください。

データレプリケーションを拡張する全コネクタ製品 | CData Software Japan

データの同期先もMySQL, SQL Server などのRDB やBigQuery、Redshift、Snowflake に対応

主要なRDB への対応だけでなく、S3、Azure Synapse、Google BigQuery、Redshift、Snowflake など多様なクラウドデータストアにも対応しています。 

操作はノーコードでシンプル

たった3ステップで、データソースと同期先を接続してコーディング不要でデータを丸ごとレプリケーションできます。 

差分更新など高度な機能にも対応

差分更新を利用すれば、更新時の差分となるレコードだけを抽出して同期できるので、毎回すべてのレコードを同期することなく効率的なデータ転送を実現できます。

マルチプラットフォーム対応

CData Sync なら、オンプレ・クラウドの双方に対応し、Windows / Linux / macOS の主要なOS でご利用いただけます。

CData Sync のチュートリアル記事

Sync とCData の他の製品の違いは？

• まるわかりCData Sync

CDataまるわかりシリーズ 第四弾 CData Sync - まるっとSaaSデータをDBに複製!? - CData Software Blog

• CData Sync ハンズオン：Salesforce -> RDB（MySQL）

CData Syncハンズオン資料 | CData Software Blog

• CData Sync ハンズオン：BigQuery を軸にして

【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう！ - CData Software Blog

CData Sync を使う理由

• CData Sync の強み

エンタープライズETL にちょうど良いデータ統合基盤「CData Sync」の強み - CData Software Blog

CData Sync の技術Tips 記事集

データソースの注目機能

• CSV データソースでのフォルダ単位での一括ファイル読み取り

CDataSync の CSV/TSV データソースに「ロードフォルダー機能」が追加されました - CData Software Blog

• CSV データソースでのS-JIS 対応

CDataSync のデータソースとして S-JIS形式の CSV ファイルを読み取る方法 - CData Software Blog

• Box 内のExcel ファイルデータの同期

BoxにあるExcelファイルのデータをノーコードでMySQLに同期する - CData Software Blog

同期先の注目機能

• Sync でのOracle 接続方法

API Server, Sync でのOracle接続利用方法まとめ (V20対応) - CData Software Blog

• GCP BigQuery アクセススコープ制限

GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる：CData Sync - CData Software Blog

• S3 同期先でのParquet フォーマットのサポート

CData Sync Amazon S3 Destination が Parquet フォーマットをサポート - CData Software Blog

• S3 同期先での相対パスのサポート

CData Sync Amazon S3 Destination が相対パスによるレプリケーションをサポートしました - CData Software Blog

• PostgreSQL 同期先でのSSH 接続のサポート

CData Syncから踏み台のSSHサーバー経由でRDS for PostgreSQL に連携する方法 - CData Software Blog

ジョブの注目機能

• dbt Core でのデータ変換に対応

CData Sync 新機能 - dbt Core 統合機能 | CData Software Blog

• ヒストリーモードで差分更新の履歴を取得

CData Sync V22 新機能：History Mode の使い方 | CData Software Blog

• 同期先テーブルのカスタマイズ

CData Sync 2019：同期テーブルのカスタマイズ - CData Software Blog

• 既存テーブルへのマッピング

既存テーブルへのマッピング：CData Sync - CData Software Blog

• 差分更新未対応ソースの差分更新

差分更新未対応のデータソースでもCDataSyncで差分更新させる方法 - CData Software Blog

• 同期データの不一致解消：CHECHCACHE

連携データの不一致をCHECKCACHEコマンドで解消：CData Sync - CData Software Blog

• ジョブの並列処理

CData Sync でジョブの並列処理がサポートされました - CData Software Blog

• ジョブのワークフロー

ジョブ同士をつなげて、前のジョブ結果で別ジョブの実行有無を制御する方法：CData Sync - CData Software Blog

• Post job イベントでSlack のWebhook を実行する

CData Sync の処理結果を Slack に通知する - CData Software Blog

• Salesforce の削除レコードの連携

Salesforceで削除したレコードの連携方法について：CData Sync - CData Software Blog

• 同期先DB のTransformation 操作

CDataSyncに変換機能が追加 - ELTのT(Transformetion)が大幅に強化 - CData Software Blog

変更データキャプチャ（CDC）対応

CData Sync V22 の目玉機能の1つとして、CDC 対応があげられます。これにより、主要DB で差分更新の際に差分レコードのデータを取得できるようになりました。

• CData Sync でのCDC の概要

Change Data Capture (CDC) 機能によるDB to DB での差分更新：CData Sync | CData Software Blog

• SQL Server

変更データキャプチャ（CDC）を使ったデータレプリケーションを SQL Server → Redshift でやってみた：CData Sync | CData Software Blog

• PostgreSQL

ログベースによる変更データキャプチャ（CDC）で PostgreSQL → BigQuery のレプリケーションをやってみた：CData Sync | CData Software Blog

• Oracle Database

CData Sync によるOracle Database のLogMiner を使ったCDC (変更データキャプチャ) レプリケーション | CData Software Blog

管理機能、その他

• ユーザー管理（ロール管理）

CDataSync のユーザー管理にロール機能（Role-Based access Control）が追加されました - CData Software Blog

• 100万件のkintone データをBigQuery に連携

100万件のkintone アプリデータをGoogle BigQuery に連携して集計・分析を行う：CDataSync - CData Software Blog

環境・ホスティング、その他の便利機能

• AWS EC2 Linux でのSync 構築

AWS EC2 Amazon Linux で簡単にCData Sync Java エディションを構成する方法 - CData Software Blog

• GCP VM でのSync 構築

.NET版のCDataSync をGCPのVMインスタンスで使用してみる - CData Software Blog

• IIJ GIO でのSync 構築

IIJ GIO に CDataSync を構築：Salesforce データをMySQLにレプリケーション - CData Software Blog

• さくらクラウドでのSync 構築

さくらクラウドで CData Sync を構築する - CData Software Blog

• IIS でのSync のホスティング

IIS でCData Syncをホストする方法 - CData Software Blog

• 管理機能の強化（設定情報のエクスポート/インポート）

管理機能の強化：CData Sync - CData Software Blog

• Sync のマシン移行（Windows）

CData Syncの起動マシンを変更する方法について(Windowsスタンドアロン版) - CData Software Blog

• AMI 版Sync のRoute53 ドメイン取得

AMI版CDataSyncにRoute53で取得したドメインを設定してみる - CData Software Blog

• GCP でHTTPS（SSL）化してSync をホスト

CDataSyncをGoogle Cloud PlatformでHTTPS化（SSL化）してホスティングする方法 - CData Software Blog

関連コンテンツ