ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →Azure Data Lake Storage ODBC Driver の30日間無償トライアルをダウンロード
30日間の無償トライアルへ製品の詳細
Azure Data Lake Storage ODBC Driver 相談したいAzure Data Lake Storage ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからAzure Data Lake Storage にデータ連携。
Azure Data Lake Storage にデータベースと同感覚でアクセスして、Azure Data Lake Storage データに使い慣れたODBC インターフェースで連携。
CData
こんにちは!ドライバー周りのヘルプドキュメントを担当している古川です。
SQL Server のPolyBase は、データベーステーブルをクエリするTransact-SQL 構文を使って、外部データにクエリする仕組みです。 CData ODBC Driver for ADLS を組み合わせて使うことで、SQL Server データと同じようにAzure Data Lake Storage へのアクセスが可能です。 本記事では、外部データソースと外部テーブルの作成から、T-SQL クエリを使ってリアルタイムAzure Data Lake Storage データへ接続を認可するところまで説明します。
CData ODBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、PolyBase でリアルタイムAzure Data Lake Storage データを送受信するための圧倒的なパフォーマンスを提供します。SQL Server からAzure Data Lake Storage に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAzure Data Lake Storage に直接プッシュダウンし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。また、PolyBase を使用することで、単一のクエリを使用して分散ソースからデータをプルし、SQL Server データをAzure Data Lake Storage と結合することもできます。
CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。
CData ODBC ドライバでは、1.データソースとしてAzure Data Lake Storage の接続を設定、2.PolyBase 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。
まずは、本記事右側のサイドバーからADLS ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。
未指定の場合は、初めにODBC DSN(data source name)で接続プロパティを指定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および構成できます。PolyBase を使用してSQL Server に外部データソースを作成するには、System DSN を構成します。(CData Azure Data Lake Storage Sys は自動的に作成されます。)
Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 1 は、認証方法としてAzure Active Directory OAuth(AzureAD)およびマネージドサービスID(AzureMSI)をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。
Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。
Gen 2は、認証方法としてアクセスキー、共有アクセス署名(SAS)、Azure Active Directory OAuth(AzureAD)、マネージドサービスID(AzureMSI)など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。
アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。
Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。
共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。
[接続のテスト]をクリックして、DSN がAzure Data Lake Storage に正しく接続できているかを確認します。[テーブル]タブに移動し、Azure Data Lake Storage のテーブル定義を確認します。
接続を構成したのち、外部データソースのマスター暗号化キーと資格情報データベースを作成する必要があります。
以下のSQL コマンドを実行して新しいマスターキー[ENCRYPTION]を作成し、外部データソースの資格情報を暗号化します。
CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'password';
以下のSQL コマンドを実行してAzure Data Lake Storage に接続されている外部データソースの資格情報を作成します。
Note:Azure Data Lake Storage は認証にUser やPassword を必要としないため、IDENTITY とSECRET に任意の値を使用できます。
CREATE DATABASE SCOPED CREDENTIAL adls_creds WITH IDENTITY = 'username', SECRET = 'password';
以下のSQL コマンドを実行し、以前作成したDSN と資格情報を使用して、PolyBase でAzure Data Lake Storage の外部データソースを作成します。
Azure Data Lake Storage の場合、SERVERNAME を[localhost]または[127.0.0.1]に設定し、PORT を空のままにします。PUSHDOWN は、デフォルトでON に設定されているため、ODBC Driver は、サーバー側の処理を利用して複雑なクエリを実行できます。
CREATE EXTERNAL DATA SOURCE cdata_adls_source WITH ( LOCATION = 'odbc://SERVERNAME[:PORT]', CONNECTION_OPTIONS = 'DSN=CData Azure Data Lake Storage Sys', -- PUSHDOWN = ON | OFF, CREDENTIAL = adls_creds );
外部データソースを作成したら、CREATE EXTERNAL TABLE ステートメントを使用してSQL Server インスタンスからAzure Data Lake Storage にリンクします。テーブルカラムの定義は、CData ODBC Driver for ADLS によって公開されているものと一致しなければなりません。DSN Configuration Wizard の[テーブル]タブを参照し、テーブルの定義を確認できます。
以下は、Azure Data Lake Storage Resources に基づいて外部テーブルを作成するステートメントの一例です。
CREATE EXTERNAL TABLE Resources( FullPath [nvarchar](255) NULL, Permission [nvarchar](255) NULL, ... ) WITH ( LOCATION='Resources', DATA_SOURCE=cdata_adls_source );
SQL Server インスタンスでAzure Data Lake Storage の外部テーブルを作成すると、ローカルデータとリモートデータを同時にクエリできるようになります。CData ODBC Driver に組み込まれているクエリ処理により、可能な限り多くのクエリ処理がAzure Data Lake Storage にプッシュされることで、ローカルのリソースと計算リソースが解放されます。ODBC Driver for ADLS の30日間無料トライアルをダウンロードし、SQL Server データでリアルタイムAzure Data Lake Storage データを使い始めましょう。
このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをコーディングなしで扱うことができます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。
CData ODBC ドライバは日本のユーザー向けに、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。