Microsoft SQL server へのDatabricks データの反復同期を設定

常時起動のアプリケーションは、自動フェイルオーバー機能およびリアルタイムなデータアクセスを必要とします。 CData Sync は、SQL Server インスタンスに直近のDatabricks を反復同期します。SQL Server はオンプレミスだけでなく、AWS RDS をはじめとするクラウド上のSQL Server にもレプリケーションが可能です。CData Sync で、アーカイブ、レポーティング、アナリティクス、機械学習、AI などで使えるよう、企業内の多様なデータを一か所に統合して管理することが可能になります

SQL Server をレプリケーションの同期先に設定

CData Sync を使って、SQL Server にDatabricks data をレプリケーションします。レプリケーションの同期先を追加するには、［接続］タブを開きます。

1. ［同期先］タブをクリックします。
2. SQL Server を同期先として選択します。
3. 必要な接続プロパティを入力します。SQL Server との接続には、以下のプロパティが必要です:
   • Server: SQL Server が稼働しているマシンの名前もしくはネットワークアドレス。
   • User: SQL Server の認証のためのusername（forms authentication 利用時）。
   • Password: SQL Server の認証のためのpasswordforms authentication 利用時）。
   • Database: SQL Server のデータベース名。

   Java 版

   Java 版では、Microsoft SQL Server JDBC Driver が必要です。ダウンロードはこちらのMicrosoft Download Center から可能です。Java ウェブサーバーのlib フォルダにドライバーを配置し、接続を行います。

4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

Databricks 接続の設定

データソース側にDatabricks を設定します。［接続］タブをクリックします。

1. ［接続の追加］セクションで［データソース］タブを選択します。
2. Databricks アイコンをデータソースとして選択します。プリインストールされたソースにDatabricks がない場合には、追加データソースとしてダウンロードします。
3. 接続プロパティに入力をします。
   
   

   To connect to a Databricks cluster, set the properties as described below.

   Note: The needed values can be found in your Databricks instance by navigating to Clusters, and selecting the desired cluster, and selecting the JDBC/ODBC tab under Advanced Options.

   • Server: Set to the Server Hostname of your Databricks cluster.
   • HTTPPath: Set to the HTTP Path of your Databricks cluster.
   • Token: Set to your personal access token (this value can be obtained by navigating to the User Settings page of your Databricks instance and selecting the Access Tokens tab).
4. ［接続のテスト］をクリックして、正しく接続できているかをテストします。
5. ［変更を保存］をクリックします。

レプリケーションを実行するクエリの設定

Data Sync はレプリケーションをコントロールするSQL クエリを簡単なGUI 操作で設定できます。 レプリケーションジョブ設定には、［ジョブ］タブに進み、［ジョブを追加］ボタンをクリックします。 次にデータソースおよび同期先をそれぞれドロップダウンから選択します。

テーブル全体をレプリケーションする

テーブル全体をレプリケーションするには、［テーブル］セクションで［テーブルを追加］をクリックします。表示されたテーブルリストからレプリケーションするテーブルをチェックします。

テーブルをカスタマイズしてレプリケーションする

レプリケーションはテーブル全体ではなく、カスタマイズが可能です。［変更］機能を使えば、レプリケーションするカラムの指定、同期先でのカラム名を変更しての保存、ソースデータの各種加工が可能です。レプリケーションのカスタマイズには、ジョブの［変更］ボタンをクリックしてカスタマイズウィンドウを開いて操作を行います。

レプリケーションのスケジュール起動設定

［スケジュール］セクションでは、レプリケーションジョブの自動起動スケジュール設定が可能です。反復同期間隔は、15分おきから毎月1回までの間で設定が可能です。

レプリケーションジョブを設定したら、［変更を保存］ボタンを押して保存します。Databricks data のSQL Server へのレプリケーションジョブは一つではなく複数を作成することが可能です。