製品をチェック

製品の情報と30日間無償トライアル

Kafka 連携ソリューション 相談したい

Kafka データからSQL Server に接続する4つの方法をご紹介。あなたにピッタリな方法は?

Kafka データをSQL Server から使う4種類の方法を、最適なユースケース(開発者、SQL Server 熟練者、SSIS ユーザー、ビジネスユーザー)と併せて紹介します。

加藤龍彦
デジタルマーケティング

最終更新日:2023-08-03
kafka ロゴ

CData

sqlserver ロゴ画像
SQL Server ロゴ

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData の幅広い製品ラインアップを使えば、いろいろな方法でKafka とSQL Server のデータ連携を実現できます。

  • 自分で開発ができるか
  • 実際にデータをSQL Server に書き込むのか
  • リンクサーバーで仮想的にSQL Server で使うのか
  • データ分析基盤の構築で使うのか
  • データ連携 / 業務自動化で使うのか

など、多様なニーズに応じて最適な製品を用意しています。すべての製品に30日間無償トライアルを用意していますので、気軽にお試しいただけます。この記事では、ODBC Driver とPowershell(またはカスタムアプリ)の合わせ技、SQL Gateway(リンクサーバー)、SSIS、CData Sync の4種類の方法をそのメリット・デメリットと共に紹介します。

データ連携・業務自動化で使うなら:CData Arc でKafka とSQL Server をノーコード連携

CData Arc は、CData 製品の中で「データ連携の自動化」を担うサーバーアプリケーションです。SaaS とのAPI 連携はもちろん、ファイル連携やDB 連携もノーコード・ローコードで自動化することができます。クラウドでもオンプレミスでも場所を選ばず、とかく複雑になりがちなB2B 連携を、これまでよりもっとシンプルに実現することを目指した製品です。

CData Arcは、業界最多級の接続先を誇るCData Drivers をシームレスに利用出来るCData コネクタを備えており、Kafka 以外のデータソースにも同じ使用感で数多く対応することができます。

すべてのEdition で共通な強力な連携エンジンを、利用する規模に応じた柔軟なライセンス体系で提供していますので、はじめてデータ連携ツールを使う方や、利用の規模に応じた価格感でローコードツールを利用したい方には最適です。SaaS との連携以外に、オンプレミスとの連携や、ファイル連携のニーズがある場合には、CData Arc 1つですべて実現することができます。

どのような連携ロジックを実現するかは、CData Arc のフローデザイナーで設定する形になります。

必要な製品:CData Arc

kintone での連携実装例はこちら:CData Arc を使ってKafka とSQL Server を双方向にデータ連携する方法

Kafka とSQL Server をCData Arc で連携

SQL Server が得意なら:SQL Gateway でリンクサーバーとしてKafka データにアクセス

SQL Server にはリンクサーバーといって、他のDB をSQL Server から呼び出せる統合機能があります。CData ODBC Driver for ApacheKafka に付属しているSQL Gateway を使えば、Kafka データをSQL Server のリンクサーバーとして扱うことができます。物理的にKafka データがSQL Server に保存されるわけではありませんが、SQL Server のインターフェースでKafka データがSQL を使って呼び出すことができます。

詳しくはこちら:KafkaデータにSQL Server のリンクサーバーとして接続

SQL Gateway でリンクサーバーとしてKafka データにアクセス

通常のODBC Driver for ApacheKafka のDSN 設定の後にSQL Gateway を立ち上げ、Kafka DSN をSQL Server のサービスとして設定します。SSMS でこのサービスをリンクサーバーとして登録すると、SQL クエリでKafka データをリンクサーバー経由で使用することができます。 複数の.NET クライアントアプリからのKafka データ参照や、SQL Server データとのJOIN などに最適です。

SELECT * from リンクサーバー名.CData ApacheKafka Source Sys(ODBC DSN 名).ApacheKafka.テーブル名

SQL Server のリンクサーバーに慣れ親しんだ方には一番使いやすい利用方法です。常に最新のKafka データをリアルタイムにクエリできる点も優れています。SQL Server 側からのSQL で双方向連携(書き込みを含む)ができる点が大変便利です。

手間としては、SQL Gateway をサーバーにホスティングして稼働させなければならない点があります。またサーバーホスティングのため、コストは高めです。

SSIS ユーザーなら:SSIS でKafka データをSQL Server にインポート

SQL Server ユーザーでは、データ統合・ワークフローにSSIS(SQL Server Integration Services)を使っている方も多いのではないでしょうか?CData では、SSIS 向けにKafka への連携が可能なSSIS Component for ApacheKafkaを提供しています。

詳しくはこちら:KafkaデータをSSIS を使ってSQL Server にインポート

SSIS でKafka データをSQL Server にインポート

SSIS ユーザーであれば、Kafka Component さえあれば簡単にSQL Server へのインポートフローを組むことができます。コンポーネントはドライバーと同程度の価格で、リーズナブルです。

SSIS 以外のETL / EAI ツールをご利用であれば、CData Drivers をETL / EAI ツールで使うだけで簡単にデータ連携が可能です。ASTERIA Warp、DataSpider、Informatica、Waha! Transformer、RACCOON、Talend など多様なETL ツールから利用できます。Kafka とETL の連携記事は、こちらに一覧としてまとまっています(Kafka のETL、レプリケーション & DWH 接続ガイド)。すでに利用しているツールにKafka Driver をアドオンするだけで連携が組めるので、ETL ツールを使っているユーザーはこちらのオプションがコスト・技術の両面で使いやすいでしょう。

データ分析基盤への統合なら:CData Sync でKafka データをSQL Server にレプリケーション

ノーコードでKafka とSQL Server を繋いでデータを統合、SQL Server を分析基盤として使いたい、という場合にはCData Sync というETL / ELT ツールを使う方法がおすすめです。CData Sync はサーバーアプリケーションになっており、インストール後3ステップで手軽にレプリケーションジョブが設定できます。定期実行や細かいレプリケーションの項目設定までをGUI 操作だけで実行可能です。

詳しくはこちら:SQL Server にKafka のデータを連携・統合する方法

CData Sync でKafka データをSQL Server にレプリケーション

DB への同期専用のノーコードツールであり、他の方法に比べて使いやすさや拡張性の高さが特徴です。他の方法に比べると、コスト面は高めになります。

おわりに

CData では、Kafka とSQL Server のデータ連携を実現するための幅広い製品を用意しています。まとめると:

  • CData Arc はkintone をSQL Server 以外のクラウドストレージ、会計、ERP といったシステムと連携して、業務自動化を実現したい方にオススメです。
  • SQL Gateway はSQL Server に慣れ親しんだユーザーやリアルタイムデータが必要な方にオススメで、SQL Server のリンクサーバーとしてKafka データを扱うことができます。
  • SSIS Component を使った方法はSSIS 経験者にオススメで、SSIS のインポートフローを手軽に作成でき、低コストです。
  • CData Sync は、ノーコードでKafka データをSQL Server にレプリケーションすることができるので、SQL Server 上にデータ分析基盤を構築したい方にオススメです。

どの製品も日本語オンラインドキュメントおよびテクニカルサポートを用意していますので、安心してご利用いただけます。製品選定について記事だけではわからない部分がありましたら、お気軽にお問い合わせください。

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。