RapidMiner からHDFS データに連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HDFS JDBC Driver

HDFS データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



HDFS をRapidMiner Studio の標準コンポーネント及びデータソース構成ウィザードと統合します。

この記事では、CData JDBC driver for HDFS をRapidMiner のプロセスと簡単に統合する方法を示します。この記事では、CData JDBC driver for HDFS を使用してHDFS をRapidMiner のプロセスに転送します。

※製品について詳しい情報をご希望の方は以下からお進みください。

RapidMiner のHDFS にJDBC Data Source として接続する

以下のステップに従ってHDFS へのJDBC 接続を確認できます。

  1. HDFS 用の新しいデータベースドライバーを追加します。[Connections]->[Manage Database Drivers]とクリックします。
  2. 表示されるウィザードで[Add]ボタンをクリックし、接続に名前を入力します。
  3. JDBC URL のプレフィックスを入力します。 jdbc:hdfs:
  4. インストールディレクトリのlib サブフォルダにあるcdata.jdbc.hdfs.jar ファイルにパスを入力して下さい。
  5. ドライバークラスを入力します。 cdata.jdbc.hdfs.HDFSDriver
  6. 新しいHDFS 接続を作成します。[Connections]->[Manage Database Connections]とクリックします。
  7. 接続の名前を入力します。
  8. データベースシステムの場合は、以前構成したHDFS ドライバーを選択します。
  9. Host ボックスで接続文字列を入力します。

    In order to authenticate, set the following connection properties:

    • Host: Set this value to the host of your HDFS installation.
    • Port: Set this value to the port of your HDFS installation. Default port: 50070

    ビルトイン接続文字列デザイナ

    JDBC URL の構成については、HDFS JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

    java -jar cdata.jdbc.hdfs.jar

    接続プロパティを入力し、接続文字列をクリップボードにコピーします。

    以下は一般的な接続文字列です。

    Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;
  10. 必要であればユーザー名とパスワードを入力します。

プロセス内の様々なRapidMiner オペレーターとのHDFS 接続を使用できます。HDFS を取得するには、[Operators]ビューから[Retrieve]をドラッグします。 [Retrieve]オペレータを選択した状態で、[repository entry]の横にあるフォルダアイコンをクリックして[Parameters]ビューで取得するテーブルを定義できます。表示されるRepository ブラウザで接続ノードを展開し、目的のサンプルセットを選択できます。

最後に、[Retrieve]プロセスから結果に出力をワイヤリングし、プロセスを実行してHDFS を確認します。