ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →Azure Data Lake Storage Driver の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
Azure Data Lake Storage JDBC Driver
相談したい
Azure Data Lake Storage データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。
CData
こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Pure R スクリプトおよび 標準SQL を使って、R およびJava をインストール可能なあらゆるマシン上でAzure Data Lake Storage にアクセス。CData JDBC Driver for ADLS とRJDBC package を使って、R でリモートAzure Data Lake Storage データ を利用できます。CData Driver を使うことで、業界が認めた基準で書かれたドライバーを活用して、オープンソースでポピュラーなR 言語のデータにアクセスできます。この記事では、ドライバーを使ってAzure Data Lake Storage にSQL クエリを実行する方法、および標準R 関数を呼び出してAzure Data Lake Storage をビジュアライズする方法について説明します。
マルチスレッドのMicrosoft R Open を実行すること、またはBLAS/LAPACK ライブラリにリンクされたオープン R を実行することによって、マルチスレッドおよびマネージドコードから利益を得られたドライバーのパフォーマンスにマッチできます。ここでは、Microsoft R Open 3.2.3 を使用します。CRAN レポジトリのJan. 1, 2016 snapshot からパッケージをインストールするために事前設定されています。このsnapshot は再現性を保証します。
ドライバーを使うにはRJDBC パッケージをダウンロードします。RJDBC パッケージをインストールしたら、次のコードを入力してパッケージをロードします。
library(RJDBC)
下記の情報を使いAzure Data Lake Storage にJDBC データソースとして接続します。
dbConnect やdbSendQuery のようなDBI 関数は、R にデータアクセスコードを書くための統一インターフェースを提供します。
driver <- JDBC(driverClass = "cdata.jdbc.adls.ADLSDriver", classPath = "MyInstallationDir\lib\cdata.jdbc.adls.jar", identifier.quote = "'")
これで、DBI 関数を使ってAzure Data Lake Storage に接続しSQL クエリを実行する準備が整いました。dbConnect 関数を使ってJDBC 接続を初期化します。一般的なJDBC 接続文字列は次のとおりです。
conn <- dbConnect(driver,"Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;")
Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。
Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。
アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。
Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。
共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。
ドライバーはAzure Data Lake Storage API をリレーショナルデータベース、ビュー、ストアドプロシージャとしてモデルします。次のコードを使ってテーブルリストを検出します。
dbListTables(conn)
dbGetQuery 関数を使ってAzure Data Lake Storage API がサポートするすべてのSQL クエリを実行できます：
resources <- dbGetQuery(conn,"SELECT FullPath, Permission FROM Resources WHERE Type = 'FILE'")
次のコマンドを使って、結果を［data viewer］ウィンドウで見ることができます。
View(resources)
CRAN レポジトリで利用可能なあらゆるデータ初期化パッケージを使ってAzure Data Lake Storage を分析する準備が整いました。ビルトインバーのplot 関数を使って簡単なバーを作成できます。
par(las=2,ps=10,mar=c(5,15,4,2)) barplot(resources$Permission, main="Azure Data Lake Storage Resources", names.arg = resources$FullPath, horiz=TRUE)
