Clover ETL からHDFS データに連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HDFS JDBC Driver

HDFS データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



データ連携ツールのCloverETL のビジュアルワークフローでHDFS データ連携を作成。

CData JDBC Driver for HDFS は、CloverETL からHDFS へのqueries 処理を実現します。本記事では、CloverETL でJDBC Driver を使い、HDFS をシンプルなCSV ファイルに変換します。

JDBC Data Source でHDFS に接続

  1. HDFS データへの連携を作成します。CloverETL の新しいgraph で、Outline ペインのConnections ノードを右クリックして、Create Connection をクリックします。Database Connection ウィザードが表示されます。
  2. +アイコンをクリックして、.jar ファイルをロードします。インストールディレクトリのlib フォルダの cdata.jdbc.hdfs.jar ファイルを選択します。
  3. JDBC URL を入力します。一般的な接続文字列は: jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;

    In order to authenticate, set the following connection properties:

    • Host: Set this value to the host of your HDFS installation.
    • Port: Set this value to the port of your HDFS installation. Default port: 50070

DBInputTable コンポーネントで、HDFS データをクエリ

  1. DBInputTable をReaders セクションからドラッグし、ジョブフローに置きます。ダブルクリックして、設定エディタを開きます。
  2. DB コネクションプロパティで、HDFS JDBC をドロップダウンから選択します。
  3. SQL クエリを入力します。例: SELECT * FROM Files

UniversalDataWriter でQuery のOutput を記述

  1. Writer セクションからUniversalDataWriter をドラッグして、ジョブフローに置きます。
  2. UniversalDataWriter をダブルクリックして、設定エディタを開き、ファイルURL を足します。
  3. DBInputTable をダブルクリックして、Extract Metadata をクリックします。
  4. DBInputTable のOutput ポートをUniversalDataWriter に接続します。
  5. UniversalDataWriter のSelect Metadata メニューでFiles テーブルを選択します。(UniversalDataWriter のInput ポートを右クリックしてメニューを開くことも可能です。)
  6. Run をクリックして、ファイルの書き込みを実行します。