NetBeans IDE でAzure Data Lake Storage データに仮想RDB として連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ADLS は、JDBC をサポートするIDE にリアルタイムAzure Data Lake Storage データへの仮想DB 連携を実現します。JDBC 標準では、ビルトインのデータアクセスウィザードや、迅速な開発をサポートするその他のツールを使用できます。この記事では、NetBeans でAzure Data Lake Storage に接続する方法を説明します。接続を作成してロード していきます。

NetBeans にAzure Data Lake Storage のJDBC データソースを作成

JDBC データソースを作成するには、［Service］ウィンドウの［Database］ノードを展開し、［Drivers］ノードを右クリックして［New Driver］を選択します。［New Driver］ウィザードが表示されたら、以下の情報を入力します：

• Driver File(s)：［Add］をクリックして、ファイルエクスプローラダイアログが表示されたらcdata.jdbc.adls.jar ファイルを選択。ドライバーのJAR はインストールディレクトリの［lib］サブフォルダ内にあります。
• Driver Class：［Find］をクリックしてJAR 内のドライバークラスを検索し、cdata.jdbc.adls.ADLSDriver をメニューから選択。
• Name：ドライバーの名前を入力。

接続パラメータを定義

下記の手順に従って、必要な接続プロパティを定義します：

1. ［Service］ウィンドウで、［Database］ノードを右クリックし［New Connection］をクリックします。

2. ［New Connection］ウィザードで次の接続プロパティを入力します：

   • Driver Name：CData JDBC Driver for ADLS を選択。
   • User Name：ユーザーネームを入力。JDBC URL でも定義できます。
   • Password：パスワードを入力。JDBC URL でも定義できます。

   • JDBC URL：JDBC URL を指定。

     Azure DataLakeStorage 接続プロパティの取得・設定方法

     Azure DataLakeStorage Gen 1 への接続

     Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

     • Schema：ADLSGen1 を指定。
     • Account：アカウント名に設定。
     • AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
     • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

     Azure DataLakeStorage Gen 1 への認証

     Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

     Azure DataLakeStorage Gen 2 への接続

     Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

     • Schema：ADLSGen2 に設定。
     • Account：ストレージアカウント名に設定。
     • FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
     • Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

     Azure DataLakeStorage Gen 2 への認証

     Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

     アクセスキーを使用した認証

     アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

     Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

     1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
     2. 設定で「アクセスキー」を選択します。
     3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

     共有アクセス署名（SAS）

     共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

     以下は一般的なJDBC URL です：
     jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

リアルタイムAzure Data Lake Storage データをクエリ

Azure Data Lake Storage に接続するには、［Database］ノードにある接続を右クリックし［Connect］をクリックします。接続が確立されたら、展開してスキーマ情報を見ることができます。

［Data Views］ウィンドウにテーブルをロードするには、テーブルを右クリックしてから［View Data］をクリックします。。