タグ: ELT

記事画像
2023年01月30日

CData Sync dbt変換機能 - Google BigQueryをサポートしました

by 桑島義行

CData Sync 製品では2022/09リリースのV22 から ELT処理の「T(Transform:データ変換)」機能で dbt Core プロジェクトを指定・実行できるようになりました。20223/02リリースの今回の機能強化で本dbt統合機能でサポート可能なデータソースとしてGoogle BigQuery が新たに加わりました。本記事では、CData Sync製品を利用してBigQueryのデータ変換をdbtで行う方法を説明します。

続きを読む

記事画像
2022年12月05日

クラウドデータ連携の「バッチ連携」と「リアルタイム連携」の比較

by Jonathan Hikita

クラウドデータ連携には、実際にデータが間で保管される「バッチ連携」とデータを使うツールから直接データソースに連携する「リアルタイム連携」があります。CData Sync かCData Drivers / Connectors か?とも言えます。 では、どのような時にどっちの連携方法を選べばいいのでしょうか?

続きを読む

記事画像
2022年09月21日

CData Sync 新機能 - dbt Core 統合機能

by 桑島義行

CData Sync の新機能をご紹介。ELT処理の「T(Transform:データ変換)」機能で dbt Core プロジェクトを指定・実行できるようになりました。これによりdbt Core を用いたモダンな手法でのデータモデリングが可能となります。

続きを読む

記事画像
2021年09月06日

Dnamics 365 セールス(Dynamics CRM)データをSQL Server やGoogle BigQuery にノーコードでレプリケーション:CData Sync

by Jonathan Hikita

CData Sync とは CData Sync は、各種クラウドサービス(SaaS)データをRDB やクラウドデータストアにレプリケーションできるデータパイプラインツールです。各SaaS のAPI コーディングが不要で400種類を超えるデータソースに対応して、主要なRDB やクラウド…

続きを読む

記事画像
2021年05月31日

CDataSyncに変換機能が追加 - ELTのT(Transformetion)が大幅に強化

by 桑島義行

CData Japanテクニカルディレクター桑島です。 本記事ではCDataSyncの新バージョン(V21)で追加された変換機能についてご紹介します。変換機能の追加によって、データウェアハウスにデータをロードした後のデータマートの作成処理やデータウェアハウスをクリ…

続きを読む

記事画像
2021年03月04日

ELTツールのAIRBYTEとCDataConnectでSaaSデータをBigQueryに連携してみた

by 宮本航太

こんにちは、CData Software Japan エンジニアの宮本です。 つい先日この記事や Twitter 上で AIRBYTE というオープンソースの ELT ツールの存在を知りました。 jp.techcrunch.com ということで早速触ってみましたが、結構簡単に確認できました。 Airbyte 初…

続きを読む

記事画像
2020年12月14日

ELTツール+Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた:CDataSync

by 宮本航太

こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…

続きを読む

記事画像
2020年11月02日

エンタープライズETL にちょうど良いデータ統合基盤「CData Sync」の強み

by 宮本航太

こんにちは、CDataでエンジニアをしている宮本です。 少し前になりますが、Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」というイベントに参加したときに、印象に残るセッションがありました。 データ収集の基本と「Japan…

続きを読む

記事画像
2020年01月10日

iPaaS といってもいろいろな種類があるので分類してみよう~レシピ型、ETL/ELT、EAI、ESB~

by Jonathan Hikita

iPaaS が話題です。面倒なデータ連携(特にクラウド連携)がノーコードでできて、しかも環境を構築せずにクラウドサービスとして使えるなんて! これはトレンドになるのも当然です。 弊社CData は、クラウドデータ連携の部品を取り扱っているので、「iPaaS …

続きを読む