JSON をSSIS 経由でSQL サーバーにバックアップする

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

JSON 用のCData ADO.NET プロバイダーはJSON をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。

ここでは、SQL サーバー SSIS ワークフロー内でJSON 用のプロバイダーを使用して、JSON をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。 以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。

1. Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
2. ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。

3. Data Flow 画面で、ツールボックスから［ADO.NET Source］ と［OLE DB Destination］ を追加します。

4. 新しい接続を追加し、JSON 2015 用の .NET プロバイダー\CData ADO.NET プロバイダーを選択します。

5. Connection Manager で、JSON 用に接続の詳細を入力します。下は一般的な接続文字列です。

   URI=C:/people.json;DataModel=Relational;

   データソースへの認証については、ヘルプドキュメントの「はじめに」を参照してください。CData 製品は、JSON API を双方向データベーステーブルとして、JSON ファイルを読み取り専用ビュー（ローカル ファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）としてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。詳細はヘルプドキュメントの「はじめに」を参照してください。

   URI を設定して認証値を入力したら、DataModel を設定してデータ表現とデータ構造をより厳密に一致させます。

   DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、次の基本設定を切り替えます。

   • Document（デフォルト）：JSON データのトップレベルのドキュメントビューをモデル化します。CData 製品 は、ネストされたオブジェクト配列を集約されたJSON オブジェクトとして返します。
   • FlattenedDocuments：ネストされた配列オブジェクトと親オブジェクトを、単一テーブルに暗黙的に結合します。
   • Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれています。

   リレーショナル表現の設定についての詳細は、ヘルプドキュメントの「JSON データのモデリング」を参照してください。また、以下の例で使用されているサンプルデータも確認できます。データには人や所有する車、それらの車に行われたさまざまなメンテナンスサービスのエントリが含まれています。

   Amazon S3 内のJSON への接続

   URI をバケット内のJSON ドキュメントに設定します。さらに、次のプロパティを設定して認証します。

   • AWSAccessKey：AWS アクセスキー（username）に設定。
   • AWSSecretKey：AWS シークレットキーに設定。

   Box 内のJSON への接続

   URI をJSON ファイルへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。 認証方法については、Box への接続 を参照してください。

   Dropbox 内のJSON への接続

   URI をJSON ファイルへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。 認証方法については、Dropbox への接続 を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。 URI=dropbox://folder1/file.json; InitiateOAuth=GETANDREFRESH; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345;

   SharePoint Online SOAP 内のJSON への接続

   URI をJSON ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

   SharePoint Online REST 内のJSON への接続

   URI をJSON ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。 認証するには、OAuth 認証標準を使用します。

   FTP 内のJSON への接続

   URI をJSON ファイルへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

   Google Drive 内のJSON への接続

   デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

6. DataReader editor を開き、次のインフォメーションを設定します。

   • ADO.NET 接続マネージャー：Connection Manager のメニューで、先ほど作成した［Data Connection］ を選択します。
   • データアクセスモード：［SQL command］ を選択します。
   • SQL command テキスト：DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。
     SELECT [people].[personal.age] AS age, [people].[personal.gender] AS gender, [people].[personal.name.first] AS first_name, [people].[personal.name.last] AS last_name, [vehicles].[model], FROM [people] JOIN [vehicles] ON [people].[_id] = [vehicles].[people_id]

7. DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。

8. OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。

   • コネクションマネージャー：新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
   • データアクセスモード：データアクセスモードを［table or view］ に設定し、データベースに入力するテーブルまたはビューを選択します。

9. Mappings 画面で必要なプロパティを設定します。

10. OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 JSON から取得したデータが、データベースに入力されます。