HDFS データをR で分析

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

R スクリプトおよび 標準SQL を使ってHDFS にアクセス。CData ODBC Driver for HDFS とRODBC package を使って、R でリモートHDFS を利用できます。CData Driver を使うことで、オープンソースでポピュラーなR 言語のデータにアクセスできます。この記事では、ドライバーを使ってHDFS にSQL クエリを実行する方法、およびR でHDFS をビジュアライズする方法について説明します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. HDFS をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにHDFS データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてHDFS の接続を設定、2.R 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとHDFS への接続設定

まずは、本記事右側のサイドバーからHDFS ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

接続プロパティの指定がまだの場合は、まずODBC DSN （データソース名）で接続設定を行います。これはドライバーのインストール時に自動的に立ち上がります。Microsoft ODBC データソースアドミニストレーターを使ってODBC DSN を作成および設定できます。

HDFS 接続プロパティの取得・設定方法

HDFS への認証には、次の接続プロパティを設定します。

• Host：HDFS インスタンスのホストに設定してください。
• Port: HDFS インスタンスのポートに設定してください。デフォルトのポートは"50070" です。

RODBC パッケージをロード

ドライバーを使うにはRODBC パッケージをダウンロードします。RStudio で［Tools］>［Install Packages］をクリックし、RODBC を［Packages］ボックスに入力します。

RODBC パッケージをインストールしたら、次のコードを入力してパッケージをロードします。

ODBC データソースとしてHDFS データに連携

次のコードを使ってR のDSN に接続できます：

スキーマ検出

ドライバーはHDFS API をリレーショナルデータベース、ビュー、ストアドプロシージャとしてモデル化します。次のコードを使ってテーブルリストを検出します。

SQL クエリの実行

sqlQuery 関数を使ってHDFS API がサポートするすべてのSQL クエリを実行します。

次のコマンドを使って、結果を［data viewer］ウィンドウで見ることができます。

HDFS データをプロット

これで、CRAN レポジトリで利用可能なあらゆるデータビジュアライゼーションパッケージを使ってHDFS を分析できます。ビルトインのbar plot 関数を使って簡単なバーを作成できます：

HDFS からR へのデータ連携には、ぜひCData ODBC ドライバをご利用ください

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。