Java のAzure Data Lake Storage データエンティティを使用したObject-Relational Mapping (ORM)

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Hibernate を使用することで、オブジェクト指向のドメインモデルを従来のリレーショナルデータベースにマッピングすることができます。以下のチュートリアルでは、CData JDBC Driver for ADLS を使用し、Hibernate でAzure Data Lake Storage リポジトリのORM を生成する方法を説明します。

この記事を通してEclipse がIDE として選択されていますが、CData JDBC Driver for ADLS はJava Runtime Environment をサポートするすべての 製品で機能します。Knowledge Base には、IntelliJ IDEA やNetBeans からAzure Data Lake Storage に接続するためのチュートリアルがあります。

Hibernate をインストール

以下のステップに従って、Eclipse にHibernate プラグインをインストールします。

1. Eclipse で、［Help］->［Install New Software］と進みます。
2. Work With ボックスに［http://download.jboss.org/jbosstools/neon/stable/updates/］ と入力します。
3. フィルタボックスに、［Hibernate］と入力します。
4. ［Hibernate Tools］を選択します。

新しいプロジェクトを開始

以下のステップに従って、新しいプロジェクトにドライバーJARs を追加します。

1. 新しいプロジェクトを作成します。プロジェクトタイプとして［Java Project］を選択し、［Next］をクリックします。プロジェクト名を入力し、［Finish］をクリックします。
2. ［project］を右クリックし、［Properties］を選択します。［Java Build Path］をクリックし、［Libraries］タブを開きます。
3. ［Add External JARs］をクリックし、インストールディレクトリのlib サブフォルダにあるcdata.jdbc.adls.jar ライブラリを追加します。

Hibernate 構成ファイルを追加

以下のステップに従って、Azure Data Lake Storage に接続プロパティを構成します。

1. ［new project］で右クリックし、［New］->［Hibernate］->［Hibernate Configuration File (cfg.xml)］と進みます。
2. 親フォルダとして［src］を選択し、［Next］をクリックします。

3. 以下の値をインプットします。

   • Hibernate version:5.2
   • Database dialect:Derby
   • Driver class: cdata.jdbc.adls.ADLSDriver

   • Connection URL:jdbc:adls: で始まり、セミコロンで区切られた接続プロパティのリストが続くJDBC URL

     Azure DataLakeStorage 接続プロパティの取得・設定方法

     Azure DataLakeStorage Gen 1 への接続

     Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

     • Schema：ADLSGen1 を指定。
     • Account：アカウント名に設定。
     • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
     • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

     Azure DataLakeStorage Gen 1 への認証

     Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

     Azure DataLakeStorage Gen 2 への接続

     Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

     • Schema：ADLSGen2 に設定。
     • Account：ストレージアカウント名に設定。
     • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
     • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

     Azure DataLakeStorage Gen 2 への認証

     Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

     アクセスキーを使用した認証

     アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

     Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

     1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
     2. 設定で「アクセスキー」を選択します。
     3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

     共有アクセス署名（SAS）

     共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

     ビルトイン接続文字列デザイナ

     JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

     java -jar cdata.jdbc.adls.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     以下は一般的なJDBC URL です。

     jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH

Hibernate のAzure Data Lake Storage データへの接続

以下のステップに従って、前の手順で作成した構成を選択します。

1. ［Window］->［Open Perspective］->［Hibernate］と進み、Hibernate Configurations パースペクティブに切り替えます。
2. ［Hibernate Configurations］パネルで右クリックし、［Add Configuration］を選択します。
3. Hibernate version を5.2に設定します。
4. ［Browse］ボタンをクリックし、［project］を選択します。
5. ［Configuration file］フィールドで、［Setup］->［Use Existing］とクリックし、(このデモのsrc フォルダー内にある)hibernate.cfg.xml ファイルを選択します。
6. ［Classpath tab］で、［User Entries］の下に何もなかった場合、［Add External JARS］をクリックしてドライバーjar をもう一度追加します。構成が完了したら、［OK］をクリックします。
7. 新しく作成されたHibernate 構成ファイルのDatabase node を展開します。

Azure Data Lake Storage データをリバースエンジニアリング

以下のステップに従って、reveng.xml 構成ファイルを生成します。アクセスするテーブルをオブジェクトとして指定します。

1. Package Explorer に戻ります。
2. プロジェクトを右クリックし、［New］->［Hibernate］->［Hibernate Reverse Engineering File (reveng.xml)］と進みます。［Next］をクリックします。
3. 親フォルダとして［src］を選択し、［Next］をクリックします。
4. ［Console configuration drop-down］メニューで、上で作成した［Hibernate configuration］ファイルを選択し、［Refresh］をクリックします。
5. ノードを展開し、リバースエンジニアリングするテーブルを選択します。完了したら、［Finish］をクリックします。

実行するためのHibernate を構成

以下のステップに従って、plain old Java objects (POJO) をAzure Data Lake Storage テーブルに生成します。

1. メニューバーから、［Run］->［Hibernate Code Generation］->［Hibernate Code Generation Configurations］と進みます。
2. ［Console configuration drop-down］メニューで、前のセクションで作成した［Hibernate configuration］ファイルを選択します。Output ディレクトリで［Browse］をクリックし、src を選択します。
3. ［JDBC Connection］チェックボックスから［Reverse Engineer］を有効にします。［Setup］ボタンをクリックし、［Use Existing］をクリックして(このデモのsrcフォルダ内にある) hibernate.reveng.xml ファイルの場所を選択します。
4. ［Exporters］タブで［Domain code (.java)］と［Hibernate XML Mappings (hbm.xml)］をチェックします。
5. ［Run］をクリックします。

POJO は、前のステップのリバースエンジニアリング設定に基づいて作成されます。

マッピングタグを挿入

生成したマッピングごとにhibernate.cfg.xml にマッピングタグを作成し、Hibernate がマッピングリソースを指定するようにする必要があります。hibernate.cfg.xml を開き、次のようにマッピングタグを挿入します。

SQLを実行

前の手順で作成したエンティティを使用して、Azure Data Lake Storage のsearchを行うことができます。 import java.util.*; import org.hibernate.Session; import org.hibernate.cfg.Configuration; import org.hibernate.query.Query; public class App { public static void main(final String[] args) { Session session = new Configuration().configure().buildSessionFactory().openSession(); String SELECT = "FROM Resources R WHERE Type = :Type"; Query q = session.createQuery(SELECT, Resources.class); q.setParameter("Type","FILE"); List<Resources> resultList = (List<Resources>) q.list(); for(Resources s: resultList){ System.out.println(s.getFullPath()); System.out.println(s.getPermission()); } } }