HDFS データをR で分析

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HDFS ODBC Driver

HDFS ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからHDFS にデータ連携。

HDFS データにデータベースと同感覚でアクセスして、HDFS データに使い慣れたODBC インターフェースで双方向連携。



データビジュアライゼーション、ハイパフォーマンスな統計関数を使ってHDFS をMicrosoft R Open で分析。



Pure R スクリプトおよび 標準SQL を使ってHDFS にアクセス。CData ODBC Driver for HDFS とRODBC package を使って、R でリモートHDFS を利用できます。CData Driver を使うことで、オープンソースでポピュラーなR 言語のデータにアクセスできます。この記事では、ドライバーを使ってHDFS にSQL クエリを実行する方法、およびR でHDFS をビジュアライズする方法について説明します。

R をインストール

マルチスレッドのMicrosoft R Open を実行すること、またはBLAS/LAPACK ライブラリにリンクされたオープンR を実行することによって、マルチスレッドおよびマネージドコードからドライバーのパフォーマンスにマッチできます。ここでは、Microsoft R Open 3.2.3 を使用します。CRAN レポジトリのJan. 1, 2016 snapshot からパッケージをインストールするために事前設定されています。このsnapshot は再現性を保証します。

HDFS ODBC Data Source としてHDFS に連携

接続プロパティの指定がまだの場合は、まずODBC DSN (データソース名)で接続設定を行います。これはドライバーのインストール時に自動的に立ち上がります。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。

In order to authenticate, set the following connection properties:

  • Host: Set this value to the host of your HDFS installation.
  • Port: Set this value to the port of your HDFS installation. Default port: 50070

RODBC パッケージをロード

ドライバーを使うにはRODBC パッケージをダウンロードします。RStudio で[Tools]>[Install Packages]をクリックし、RODBC を[Packages]ボックスに入力します。

RODBC パッケージをインストールしたら、次のコードを入力してパッケージをロードします。

library(RODBC)

ODBC データソースとしてHDFS データに連携

次のコードを使ってR のDSN に接続できます:

conn <- odbcConnect("CData HDFS Source")

スキーマ検出

ドライバーはHDFS API をリレーショナルデータベース、ビュー、ストアドプロシージャとしてモデル化します。次のコードを使ってテーブルリストを検出します。

sqlTables(conn)

SQL クエリの実行

sqlQuery 関数を使ってHDFS API がサポートするすべてのSQL クエリを実行します。

files <- sqlQuery(conn, "SELECT FileId, ChildrenNum FROM Files WHERE FileId = '119116'", believeNRows=FALSE, rows_at_time=1)

次のコマンドを使って、結果を[data viewer]ウィンドウで見ることができます。

View(files)

HDFS データをプロット

これで、CRAN レポジトリで利用可能なあらゆるデータビジュアライゼーションパッケージを使ってHDFS を分析できます。ビルトインのbar plot 関数を使って簡単なバーを作成できます:

par(las=2,ps=10,mar=c(5,15,4,2)) barplot(files$ChildrenNum, main="HDFS Files", names.arg = files$FileId, horiz=TRUE)