ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →
タグ: BigQuery
2021年01月08日
BigQueryへのリクエストでエラー：Request payload size exceeds the limit
BigQueryへのリクエストでエラー：Request payload size exceeds the limit
2020年12月28日
GCEインスタンスのアクセススコープを使用してBigQuery へのアクセス制御を試してみる：CData Sync
こんにちは、CData Software Japan エンジニアの宮本です。 GCE のVMインスタンスでは、インスタンスごとにアクセススコープを設定できるのはご存知でしょうか。以下のようにインスタンスからGCP 上のサービスにアクセスできる範囲を設定することができるよ…
2020年12月24日
製造業向けMAツール - MRC（マーケライズクラウド） の顧客データを Google BigQuery へ定期的に連携する：CData Sync
こんにちは。CData Software Japan リードエンジニアの杉本です。 本記事では 分析基盤向けデータ統合の自動化ツールである CDataSync を使って、MRCのデータを Google BigQuery に連携し、分析する方法を紹介したいと思います。 MRC（マーケライズクラウド…
2020年12月22日
GCP内で完結！BigQuery にSaaS データをローディングする構成について
本記事はBigQuery Advent Calendar 2020 22日目の記事です。 qiita.com こんにちは！CData Software Japan エンジニアの宮本です。 2020年もあっという間に終わろうとしていますが、この１年を思い返してみると、感覚的に去年に比べてBigQuery を軸にした相…
2020年12月14日
ELTツール＋Dataform でBigQuery へのデータロード・チェック・マージを自動化してみた：CDataSync
こんにちは、CData Software でエンジニアをしている宮本です。 先日、Google からDataform がGCP の傘下になったとアナウンスがありました。 cloud.google.com 自分自身、Dataform というサービスを知らなかったのですが、Webサイトやドキュメントなどを読…
2020年12月11日
CData Driver・CDataSync BigQuery が サービスアカウント認証のJSONファイルフォーマットをサポート
こんにちは。CData Software Japanリードエンジニアの杉本です。 V20 の少し前のビルドからなのですが、CData Driver・CDataSync で提供しているBigQuery Driver・コネクタがサービスアカウント認証を行う場合のファイルフォーマットとしてJSON形式を正式に…
2020年11月16日
Autify のテストデータをGoogle BigQuery に定期連携：CData Sync
本記事はAWS EC2のVMインスタンスにCData Sync を起動させ、Autifyにあるテストデータを定期的にGoogle BigQuery に連携する方法をご紹介します。 Autify とは CDataSync とは 本記事で使うもの Autify のアクセストークン取得 EC2 VM作成～CDataSync Java版…
2020年11月04日
Cloud Dataflow × CData JDBC Driver でMarketo のLeadデータをサーバーレスな環境でBigQuery に連携してみる
こんにちは、CData の宮本です！ 今回もCloud Dataflow を使った内容をご紹介します。 前回はというと、①CData Connect というSaaS 型のデータハブにDataflow からアクセスして、そこから更に②CData Connect からデータソースにアクセスする2段階の構成をや…
2020年10月22日
Google Cloud Dataflow のJDBC テンプレートを使用してSaaS 連携を実現：CData Connect
こんにちは、CDataの宮本です。 前回の記事では、Cloud Data Fusion × CData Connect でSaaS 連携をご紹介しました。 www.cdatablog.jp 今回は同じGCPサービスのCloud Dataflow のJDBC テンプレートを使って、ノーコードでCData Connect 経由でSaaS データを…