Hive データをR で分析

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Pure R スクリプトおよび 標準SQL を使って、R およびJava をインストール可能なあらゆるマシン上でHive にアクセス。CData JDBC Driver for ApacheHive とRJDBC package を使って、R でリモートHive データ を利用できます。CData Driver を使うことで、業界が認めた基準で書かれたドライバーを活用して、オープンソースでポピュラーなR 言語のデータにアクセスできます。この記事では、ドライバーを使ってHive にSQL クエリを実行する方法、および標準R 関数を呼び出してHive をビジュアライズする方法について説明します。

R をインストール

マルチスレッドのMicrosoft R Open を実行すること、またはBLAS/LAPACK ライブラリにリンクされたオープン R を実行することによって、マルチスレッドおよびマネージドコードから利益を得られたドライバーのパフォーマンスにマッチできます。ここでは、Microsoft R Open 3.2.3 を使用します。CRAN レポジトリのJan. 1, 2016 snapshot からパッケージをインストールするために事前設定されています。このsnapshot は再現性を保証します。

RJDBC パッケージをロード

ドライバーを使うにはRJDBC パッケージをダウンロードします。RJDBC パッケージをインストールしたら、次のコードを入力してパッケージをロードします。

JDBC データソースとしてHive に接続

下記の情報を使いHive にJDBC データソースとして接続します。

• Driver Class：cdata.jdbc.apachehive.ApacheHiveDriver に設定。
• Classpath：Driver JAR の場所を設定します。デフォルトではインストールディレクトリの［lib］サブフォルダです。

dbConnect やdbSendQuery のようなDBI 関数は、R にデータアクセスコードを書くための統一インターフェースを提供します。

これで、DBI 関数を使ってHive に接続しSQL クエリを実行する準備が整いました。dbConnect 関数を使ってJDBC 接続を初期化します。一般的なJDBC 接続文字列は次のとおりです。

Apache Hive への接続を確立するには以下を指定します。

• Server：HiveServer2 をホストするサーバーのホスト名またはIP アドレスに設定。
• Port：HiveServer2 インスタンスへの接続用のポートに設定。
• TransportMode：Hive サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
• AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
• CData 製品においてTLS/SSL を有効化するには、UseSSL をTrue に設定します

スキーマ Discovery

ドライバーはHive API をリレーショナルデータベース、ビュー、ストアドプロシージャとしてモデルします。次のコードを使ってテーブルリストを検出します。

SQL クエリの実行

dbGetQuery 関数を使ってHive API がサポートするすべてのSQL クエリを実行できます：

次のコマンドを使って、結果を［data viewer］ウィンドウで見ることができます。

Hive データ をプロット

CRAN レポジトリで利用可能なあらゆるデータ初期化パッケージを使ってHive を分析する準備が整いました。ビルトインバーのplot 関数を使って簡単なバーを作成できます。