SSIS を使ってHDFS データをSQL Server にインポート

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HDFS SSIS Components

パワフルなSSIS Source & Destination Components で、SQL Server とHDFS をSSIS ワークフローで連携。

HDFS Data Flow Components を使って、HDFS データを簡単に同期。データ同期、ローカルバックアップ、ワークフロー自動化に最適!



SSIS components for HDFS を使用して簡単にSQL Server へHDFS をバックアップします。

SQL Server に基幹業務データのバックアップを保管しておくことは、ビジネス上のセーフティネットとなります。また、ユーザーはSQL Server のバックアップデータからレポーティングや分析を簡単に行うことができます。

ここでは、SQL サーバー SSIS ワークフロー内でCData SSIS Tasks for HDFS を使用して、HDFS データをMicrosoft SQL Server データベースに転送する方法を説明します。

Components の追加

開始するには、新しいHDFS ソースとSQL Server ADO.NET 転送先を新しいデータフロータスクに追加します。

新しいコネクションマネジャーを作成

以下のステップに従って、接続マネジャーでHDFS 接続プロパティを保存します。

  1. Connection Manager ウィンドウで、右クリックで[New Connection] を選択します。Add SSIS Connection Manager ダイアログが表示されます。
  2. [Connection Manager type]メニューでHDFS を選択します。CData HDFS Connection Manager が表示されます。
  3. 接続プロパティを構成します。

    In order to authenticate, set the following connection properties:

    • Host: Set this value to the host of your HDFS installation.
    • Port: Set this value to the port of your HDFS installation. Default port: 50070

HDFS Source の構成

以下のステップに従って、HDFS の抽出に使用するクエリを指定します。

  1. HDFS ソースをダブルクリックしてソースコンポーネントエディタを開きます。
  2. [Connection Manager]メニューで、以前作成した接続マネジャーを選択します。
  3. データの書き出しに使用するクエリを指定します。例: SELECT FileId, ChildrenNum FROM Files WHERE FileId = '119116'
  4. HDFS Source コントロールを閉じて、ADO.NET Destination に接続します。

SQL Server Destination を構成する

以下のステップに従って、HDFS をロードするSQL サーバーテーブルを指定します。

  1. ADO.NET Destination を選択して、新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力。
  2. Data access モードメニューで、[table or view]を選択します。
  3. [Table Or View]メニューで、設定するテーブルまたはビューを選択します。
  4. [Mappings]画面で必要なプロパティを設定します。

プロジェクトの実行

プロジェクトを実行できるようになりました。SSIS Task の実行が完了すると、データベースにHDFS データが入力されます。