IBM Cloud Object Storage をSSIS 経由でSQL サーバーにバックアップする

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

IBM Cloud Object Storage 用のCData ADO.NET プロバイダーはIBM Cloud Object Storage をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。

ここでは、SQL サーバー SSIS ワークフロー内でIBM Cloud Object Storage 用のプロバイダーを使用して、IBM Cloud Object Storage をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。 以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。

1. Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
2. ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。

3. Data Flow 画面で、ツールボックスから［ADO.NET Source］ と［OLE DB Destination］ を追加します。

4. 新しい接続を追加し、IBM Cloud Object Storage 2015 用の .NET プロバイダー\CData ADO.NET プロバイダーを選択します。

5. Connection Manager で、IBM Cloud Object Storage 用に接続の詳細を入力します。下は一般的な接続文字列です。

   ApiKey=myApiKey;CloudObjectStorageCRN=MyInstanceCRN;Region=myRegion;OAuthClientId=MyOAuthClientId;OAuthClientSecret=myOAuthClientSecret;

   Cloud Object Storage 接続プロパティの取得・設定方法

   Cloud Object Storage に接続する前に、Cloud Object Storage インスタンスを登録してCloud Object Storage API キーとCRN を取得していきます。

   Cloud Object Storage の新規インスタンスの登録

   IBM Cloud アカウントにCloud Object Storage がまだない場合は、以下の手順に従ってアカウントにSQL Query のインスタンスをインストールできます。

   1. IBM Cloud アカウントにログインします。
   2. Cloud Object Storage ページに移動して、インスタンス名を指定して「作成」をクリックします。Cloud Object Storage の新規インスタンスにリダイレクトされます。

   API キー

   API キーは以下の手順で取得できます。

   1. まずは、IBM Cloud アカウントにログインします。
   2. API キーページに移動します。
   3. 中央右隅のIBM Cloud APIキーの作成 をクリックして、新しいAPI キーを作成します。
   4. ポップアップウィンドウが表示されたら、API キーの名前を指定して作成をクリックします。ダッシュボードからはアクセスできなくなるため、API Key を控えておきましょう。

   Cloud Object Storage CRN

   デフォルトでは、CData 製品はCloud Object Storage CRN を自動で取得します。ただし、複数のアカウントがある場合は、CloudObjectStorageCRN を明示的に指定する必要があります。この値は、次の2つの方法で取得できます。

   • Services ビューをクエリする。これにより、IBM Cloud Object Storage インスタンスとそれぞれのCRN がリストされます。
   • IBM Cloud で直接CRN を見つける。これを行うには、IBM Cloud のダッシュボードに移動します。リソースリストで、ストレージからCloud Object Storage リソースを選択してCRN を取得します。

   IBM Cloud Object Storage への接続

   これで準備は完了です。以下の接続プロパティを設定してください。

   • InitiateOAuth：GETANDREFRESH に設定。InitiateOAuth を使うと、OAuth 認証を繰り返す必要がなく、さらに自動でアクセストークンを設定できます。
   • ApiKey：セットアップ中に控えたAPI キーを指定。
   • CloudObjectStorageCRN（オプション）：控えておいたCloud Object Storage のCRN に設定。Cloud Object Storage アカウントが複数ある場合のみ設定する必要があります。

   プロパティを設定したら、これで接続設定は完了です。

6. DataReader editor を開き、次のインフォメーションを設定します。

   • ADO.NET 接続マネージャー：Connection Manager のメニューで、先ほど作成した［Data Connection］ を選択します。
   • データアクセスモード：［SQL command］ を選択します。
   • SQL command テキスト：DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。
     SELECT Key, Etag FROM Objects WHERE Bucket = 'someBucket'

7. DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。

8. OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。

   • コネクションマネージャー：新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
   • データアクセスモード：データアクセスモードを［table or view］ に設定し、データベースに入力するテーブルまたはビューを選択します。

9. Mappings 画面で必要なプロパティを設定します。

10. OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 IBM Cloud Object Storage から取得したデータが、データベースに入力されます。