Google Data Catalog をSSIS 経由でSQL サーバーにバックアップする

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Google Data Catalog 用のCData ADO.NET プロバイダーはGoogle Data Catalog をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。

ここでは、SQL サーバー SSIS ワークフロー内でGoogle Data Catalog 用のプロバイダーを使用して、Google Data Catalog をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。 以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。

1. Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
2. ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。

3. Data Flow 画面で、ツールボックスから［ADO.NET Source］ と［OLE DB Destination］ を追加します。

4. 新しい接続を追加し、Google Data Catalog 2015 用の .NET プロバイダー\CData ADO.NET プロバイダーを選択します。

5. Connection Manager で、Google Data Catalog 用に接続の詳細を入力します。下は一般的な接続文字列です。

   ProjectId=YourProjectId;

   Google Data Catalog 接続プロパティの取得・設定方法

   認証プロパティを追加する前に、次の接続プロパティを設定してください。

   • OrganizationId：接続するGoogle Cloud Platform の組織リソースに関連付けられたID。これはGCP コンソールに移動して確認してください。 「プロジェクト」ドロップダウンメニューを開き、リストから組織へのリンクをクリックします。このページから組織ID を取得できます。
   • ProjectId：接続するGCP のプロジェクトリソースに関連付けられたID。GCP コンソールのダッシュボードに移動し、「プロジェクトを選択」のメニューからお好みのプロジェクトを選択して確認してください。プロジェクトID は、「プロジェクト情報」項目に表示されます。

   Google Data Catalog への認証

   CData 製品は、認証にユーザーアカウント、サービスアカウント、およびGCP インスタンスアカウントの使用をサポートします。

   OAuth の設定方法については、ヘルプドキュメントの「OAuth」セクションを参照してください。

6. DataReader editor を開き、次のインフォメーションを設定します。

   • ADO.NET 接続マネージャー：Connection Manager のメニューで、先ほど作成した［Data Connection］ を選択します。
   • データアクセスモード：［SQL command］ を選択します。
   • SQL command テキスト：DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。
     SELECT Type, DatasetName FROM Schemas WHERE ProjectId = 'bigquery-public-data'

7. DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。

8. OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。

   • コネクションマネージャー：新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
   • データアクセスモード：データアクセスモードを［table or view］ に設定し、データベースに入力するテーブルまたはビューを選択します。

9. Mappings 画面で必要なプロパティを設定します。

10. OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 Google Data Catalog から取得したデータが、データベースに入力されます。