Ruby でHDFS データ連携アプリを構築

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HDFS ODBC Driver

HDFS ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからHDFS にデータ連携。

HDFS データにデータベースと同感覚でアクセスして、HDFS データに使い慣れたODBC インターフェースで双方向連携。



Ruby でODBC 経由でHDFS に接続して、モダンなクラウド連携アプリを開発。

CData ODBC Driver for HDFS を使うと、簡単にRuby アプリケーションにリアルタイムHDFS データを連携・統合できます。 Tこの記事では、HDFS] データにリアルタイムに連携するRuby アプリケーションを構築して、クエリを実行し、結果を表示してみます。

HDFS データのODBC 接続を設定

通常はCData ODBC Driver のインストール後にODBC DSN 接続ウィザードが立ち上がり、設定を行うことができます。 もしODBC DSN 接続が未済の場合には、Microsoft ODBC データソースアドミニストレータでODBC DSN を作成および設定することができます。

In order to authenticate, set the following connection properties:

  • Host: Set this value to the host of your HDFS installation.
  • Port: Set this value to the port of your HDFS installation. Default port: 50070

Ruby および必要なGem のインストール

If you do not have Ruby installed, refer to the Ruby インストールページ. Ruby をインストールしたら、次にruby-dbi、dbd-odbc、ruby-odbc gems をインストールします:

gem install dbi gem install dbd-odbc gem install ruby-odbc

HDFS データに連携するRuby アプリケーションの作成

Ruby ファイル (例: HDFSSelect.rb) を作成し、テキストエディタで開きます。ファイルに次のコードをコピーします:

#connect to the DSN require 'DBI' cnxn = DBI.connect('DBI:ODBC:CData HDFS Source','','') #execute a SELECT query and store the result set resultSet = cnxn.execute("SELECT FileId, ChildrenNum FROM Files WHERE FileId = '119116'") #display the names of the columns resultSet.column_names.each do |name| print name, "\t" end puts #display the results while row = resultSet.fetch do (0..resultSet.column_names.size - 1).each do |n| print row[n], "\t" end puts end resultSet.finish #close the connection cnxn.disconnect if cnxn

これで、Ruby で HDFS データが接続できるようになります。簡単にコマンドラインからファイルを叩いて接続を確認してみましょう。:

ruby HDFSSelect.rb HDFS へのSQL-92 企画のSQL を使って、Ruby に簡単にHDFS を連携できます。是非、トライアルで試してみてください。