ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →CData Sync のTips 集
Jonathan Hikita, 加藤龍彦CData Sync は、Salesforce やkintone などのSaaS やRDB のデータを各種DB・DWH にノーコードで手軽にレプリケーション、データ転送できるデータパイプラインツールです。
CData Sync 概要
CData Sync | ノーコードデータレプリケーション / ETL ツール
CData Sync にはさまざまな特徴がありますが、主要なものとしては以下があげられます。
- 業界最多級を誇る、400種類以上の対応データソース
- ノーコードでシンプルな操作性
- 差分更新など高度な機能にも対応
- クラウド・オンプレミス双方に対応するなど、マルチプラットフォームに対応
データソースとして対応するSaaS、DB は400種類以上
Salesforce、SharePoint、Dynamics365、NetSuite、ServiceNow、kintone、スマレジなどCData Drivers ラインアップとして対応する250種類以上のSaaS。
さらにAPI Driver でサンプルデータソースとして対応するSaaS 150種類上。日本の多くのSaaS にも対応しています。
対応するすべてのサービスについては、以下のリンクからご確認ください。
データレプリケーションを拡張する全コネクタ製品 | CData Software Japan
データの同期先もMySQL, SQL Server などのRDB やBigQuery、Redshift、Snowflake に対応
主要なRDB への対応だけでなく、S3、Azure Synapse、Google BigQuery、Redshift、Snowflake など多様なクラウドデータストアにも対応しています。
操作はノーコードでシンプル
たった3ステップで、データソースと同期先を接続してコーディング不要でデータを丸ごとレプリケーションできます。
差分更新など高度な機能にも対応
差分更新を利用すれば、更新時の差分となるレコードだけを抽出して同期できるので、毎回すべてのレコードを同期することなく効率的なデータ転送を実現できます。
マルチプラットフォーム対応
CData Sync なら、オンプレ・クラウドの双方に対応し、Windows / Linux / macOS の主要なOS でご利用いただけます。
CData Sync のチュートリアル記事
Sync とCData の他の製品の違いは?
- まるわかりCData Sync
CDataまるわかりシリーズ 第四弾 CData Sync - まるっとSaaSデータをDBに複製!? - CData Software Blog
- CData Sync ハンズオン:Salesforce -> RDB(MySQL)
CData Syncハンズオン資料 | CData Software Blog
- CData Sync ハンズオン:BigQuery を軸にして
【CData Sync ハンズオン】Google BigQuery を軸にしたデータ分析基盤をCDataSyncで構築してみよう! - CData Software Blog
CData Sync を使う理由
- CData Sync の強み
エンタープライズETL にちょうど良いデータ統合基盤「CData Sync」の強み - CData Software Blog
CData Sync の技術Tips 記事集
データソースの注目機能
- CSV データソースでのフォルダ単位での一括ファイル読み取り
CDataSync の CSV/TSV データソースに「ロードフォルダー機能」が追加されました - CData Software Blog
- CSV データソースでのS-JIS 対応
CDataSync のデータソースとして S-JIS形式の CSV ファイルを読み取る方法 - CData Software Blog
- Box 内のExcel ファイルデータの同期
BoxにあるExcelファイルのデータをノーコードでMySQLに同期する - CData Software Blog
同期先の注目機能
- Sync でのOracle 接続方法
API Server, Sync でのOracle接続利用方法まとめ (V20対応) - CData Software Blog
- GCP BigQuery アクセススコープ制限
GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる:CData Sync - CData Software Blog
- S3 同期先でのParquet フォーマットのサポート
CData Sync Amazon S3 Destination が Parquet フォーマットをサポート - CData Software Blog
- S3 同期先での相対パスのサポート
CData Sync Amazon S3 Destination が相対パスによるレプリケーションをサポートしました - CData Software Blog
- PostgreSQL 同期先でのSSH 接続のサポート
CData Syncから踏み台のSSHサーバー経由でRDS for PostgreSQL に連携する方法 - CData Software Blog
ジョブの注目機能
- dbt Core でのデータ変換に対応
CData Sync 新機能 - dbt Core 統合機能 | CData Software Blog
- ヒストリーモードで差分更新の履歴を取得
CData Sync V22 新機能:History Mode の使い方 | CData Software Blog
- 同期先テーブルのカスタマイズ
CData Sync 2019:同期テーブルのカスタマイズ - CData Software Blog
- 既存テーブルへのマッピング
既存テーブルへのマッピング:CData Sync - CData Software Blog
- 差分更新未対応ソースの差分更新
差分更新未対応のデータソースでもCDataSyncで差分更新させる方法 - CData Software Blog
- 同期データの不一致解消:CHECHCACHE
連携データの不一致をCHECKCACHEコマンドで解消:CData Sync - CData Software Blog
- ジョブの並列処理
CData Sync でジョブの並列処理がサポートされました - CData Software Blog
- ジョブのワークフロー
ジョブ同士をつなげて、前のジョブ結果で別ジョブの実行有無を制御する方法:CData Sync - CData Software Blog
- Post job イベントでSlack のWebhook を実行する
CData Sync の処理結果を Slack に通知する - CData Software Blog
- Salesforce の削除レコードの連携
Salesforceで削除したレコードの連携方法について:CData Sync - CData Software Blog
- 同期先DB のTransformation 操作
CDataSyncに変換機能が追加 - ELTのT(Transformetion)が大幅に強化 - CData Software Blog
変更データキャプチャ(CDC)対応
CData Sync V22 の目玉機能の1つとして、CDC 対応があげられます。これにより、主要DB で差分更新の際に差分レコードのデータを取得できるようになりました。
- CData Sync でのCDC の概要
Change Data Capture (CDC) 機能によるDB to DB での差分更新:CData Sync | CData Software Blog
- SQL Server
変更データキャプチャ(CDC)を使ったデータレプリケーションを SQL Server → Redshift でやってみた:CData Sync | CData Software Blog
- PostgreSQL
ログベースによる変更データキャプチャ(CDC)で PostgreSQL → BigQuery のレプリケーションをやってみた:CData Sync | CData Software Blog
- Oracle Database
CData Sync によるOracle Database のLogMiner を使ったCDC (変更データキャプチャ) レプリケーション | CData Software Blog
管理機能、その他
- ユーザー管理(ロール管理)
CDataSync のユーザー管理にロール機能(Role-Based access Control)が追加されました - CData Software Blog
- 100万件のkintone データをBigQuery に連携
100万件のkintone アプリデータをGoogle BigQuery に連携して集計・分析を行う:CDataSync - CData Software Blog
環境・ホスティング、その他の便利機能
- AWS EC2 Linux でのSync 構築
AWS EC2 Amazon Linux で簡単にCData Sync Java エディションを構成する方法 - CData Software Blog
- GCP VM でのSync 構築
.NET版のCDataSync をGCPのVMインスタンスで使用してみる - CData Software Blog
- IIJ GIO でのSync 構築
IIJ GIO に CDataSync を構築:Salesforce データをMySQLにレプリケーション - CData Software Blog
- さくらクラウドでのSync 構築
さくらクラウドで CData Sync を構築する - CData Software Blog
- IIS でのSync のホスティング
IIS でCData Syncをホストする方法 - CData Software Blog
- 管理機能の強化(設定情報のエクスポート/インポート)
管理機能の強化:CData Sync - CData Software Blog
- Sync のマシン移行(Windows)
CData Syncの起動マシンを変更する方法について(Windowsスタンドアロン版) - CData Software Blog
- AMI 版Sync のRoute53 ドメイン取得
AMI版CDataSyncにRoute53で取得したドメインを設定してみる - CData Software Blog
- GCP でHTTPS(SSL)化してSync をホスト
CDataSyncをGoogle Cloud PlatformでHTTPS化(SSL化)してホスティングする方法 - CData Software Blog