ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →
Connect Cloud：定期的にデータを外部DBにロードできるキャッシング機能を追加！
こんにちは、プロダクトチームの宮本です！
ドライバーのクラウド版であるデータハブサービスのCData Connect Cloud に、なんとキャッシング機能が追加されました！！これまでは大量データが返ってくるようなデータソースの場合はAPI制約に抵触したり、データ取得に時間を要することでクライアント側が利用するまでに相当な時間が掛かったりという課題がありましたが、キャッシング機能を使用することで大幅に改善されるようになります！
ではさっそくキャッシング機能についてみていきましょう。
3行まとめ
- キャッシング機能（データロード）をサポート
- ユーザー指定のDBにキャッシュ
- スケジュール＆差分更新可能
キャッシング機能について
キャッシングというワードから、取得したデータをConnect Cloud 内部に一時的に保持するのかなというイメージを抱く方も多いと思いますが、実際はそうではなく、ユーザーが指定した任意の DB にデータソースからの取得データをロードします。しかも、ロードするためのジョブをスケジュール化することができ、まさに Connect Cloud 上で簡易版の Cloud ELT 機能が備わった形です。
また日時項目による差分更新も可能です。このオプションが有効となることで、毎回大量データを蓄積する必要もなく、変更分だけをデータソースから抽出して指定のDB を更新することができます！
よくあるケースが Marketo のリードデータ取得です。リードデータをニアリアルで分析したいニーズはよくありますが、こと Marketo には大量のリードデータが保存されているため、API 経由でデータを取得するまでに非常に長い時間待つ必要があったりします。ただ 1時間に1回、差分更新モードでキャッシュすることで、Marketo の最新データをクライアント側ですぐに活用することができるようになります。
キャッシング機能の制約事項
キャッシング機能を使うためにはいくつか制約事項もあります。
- 同期先DBは PostgreSQL のみとなります。（今後対応DBが増える可能性あり）
- キャッシュ対象の項目を取捨することは不可。全項目対象です。
- （現時点では）この機能は Professional プラン以上、もしくは Virtualization パッケージを個別契約する必要があります。（今後変わる可能性あり）
それでは実際に使い方をご案内いたします。
キャッシング機能の使い方：設定編
Connect Cloud にログインするとサイドメニューに Caching というメニューが表示されていますので、こちらをクリックします。
次にキャッシュしたデータを格納するデータベースへの接続設定を行います。
接続設定は一般にデータベース接続に必要な項目のみ。指定したら右上のSave＆Test ボタンで接続テストと保存を行います。
次に キャッシュジョブを作成するために Add Job ボタンをクリックします。
事前に作成してあるコネクションリストの中から１つ選択します。今回は Salesforce を選びました。
対象テーブルを選択します。（データソースのオブジェクトがテーブルリストとして表示されます）
ここではスケジュール設定、差分更新の有無、どのカラムを差分更新判定で使用するかを設定します。
これで設定は完了ですので、あとはスケジュールで実行されるのを待つます。もちろん手動実行もできるようになっています。
キャッシング機能の使い方：実行編
実行後はこのように最後に実行した時間やステータス、キャッシュしたレコード件数が表示されます。
ちなみに今回作成したジョブは差分更新モードなので、データソース側に変更がなければ2回目以降のジョブは0件という結果になります。
キャッシュ先DBの確認
PostgreSQL を参照すると Salesforce のデータが格納されていることが確認できました。
あとは、Connect Cloud からは PostgreSQL を参照するだけで Salesforce のデータを利用することができるようになります。
おわりに
いかがでしたでしょうか。これまでの Connect Cloud ではクライアント側からのアドホックなリクエストに対して結果を返すというコンセプトではありましたが、クライアント側からのリクエストを待たずに定期的にデータを収集できるようになりました。
これで色々なクライアントツールからの利用方法も変わってきそうだなという印象です。
この Connect Cloud ですが、以下のページから簡単にトライアルすることができます。ぜひこのキャッシング機能を試してみてください！
https://cloud.cdata.com/auth/sign-up-initia