各製品の資料を入手。
詳細はこちら →
製品をチェック
JDBI からHDFS データ のデータアクセスオブジェクトを作成
JDBI でHDFS のデータ 用のSQL オブジェクトAPIを作成する方法を概説します。
最終更新日：2022-05-25
この記事で実現できるHDFS 連携のシナリオ
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
JDBI は、Fluent スタイルとSQL オブジェクトスタイルという2つの異なるスタイルAPI を公開する、Java 用のSQL コンビニエンスライブラリです。CData JDBC Driver for HDFS は、Java アプリケーションとリアルタイムHDFS のデータ のデータ連携を実現します。これらの技術を組み合わせることによって、HDFS のデータ へのシンプルなコードアクセスが可能になります。ここでは、基本的なDAO（Data Access Object ）とそれに付随するHDFS のデータ の読み書きのためのコードの作成について説明します。
HDFS Files Entity のDAO を作成
以下のインターフェースは、実装されるSQL ステートメントごとに単一のメソッドを作成するためのSQL オブジェクトの正しい動作を宣言します。
public interface MyFilesDAO {
//request specific data from HDFS (String type is used for simplicity)
@SqlQuery("SELECT ChildrenNum FROM Files WHERE FileId = :fileId")
String findChildrenNumByFileId(@Bind("fileId") String fileId);
/*
* close with no args is used to close the connection
*/
void close();
}
HDFS への接続を開く
必要な接続プロパティを収集し、HDFS に接続するための適切なJDBC URL を作成します。
HDFS 接続プロパティの取得・設定方法
HDFS への認証には、次の接続プロパティを設定します。
- Host：HDFS インスタンスのホストに設定してください。
- Port: HDFS インスタンスのポートに設定してください。デフォルトのポートは"50070" です。
ビルトイン接続文字列デザイナー
JDBC URL の構成については、HDFS JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。
java -jar cdata.jdbc.hdfs.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
HDFS の接続文字列は、通常次のようになります。
jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;
構成済みのJDBC URL を使用して、DAO インターフェースのインスタンスを取得します。以下に示す特定のメソッドはインスタンスにバインドされたハンドルを開くため、ハンドルとバインドされたJDBC 接続を開放するには、インスタンスを明示的に閉じる必要があります。
DBI dbi = new DBI("jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;");
MyFilesDAO dao = dbi.open(MyFilesDAO.class);
//do stuff with the DAO
dao.close();
HDFS データ について
HDFS への接続を開いた状態で以前定義したメソッドを呼び出すだけで、HDFS のFiles エンティティからデータを取得できます。
//disply the result of our 'find' method
String childrenNum = dao.findChildrenNumByFileId("119116");
System.out.println(childrenNum);
JDBI ライブラリはJDBC 接続を処理できるため、CData JDBC Driver for HDFS と統合することで、SQL Object API for HDFS を簡単に作成できます。今すぐ無料トライアルをダウンロードし、Java アプリケーションでリアルタイムHDFS を操作しましょう。
関連コンテンツ
