Azure Data Lake Storage データにSQL Server のリンクサーバーとして接続する方法

こんにちは！ドライバー周りのヘルプドキュメントを担当している兵藤です。

本記事では、SQL Server のTDS Remoting 機能を使ってAzure Data Lake Storage のリンクサーバーをセットアップする方法をご紹介します。リンクサーバーの利用には、CData ODBC ドライバに同梱されているSQL Gateway を使用します。 SQL Server のインターフェースでAzure Data Lake Storage への読み書き双方向のアクセスが可能になります。

Azure Data Lake Storage リンクサーバー利用シナリオ

• SQL Server に接続しているアプリケーションでAzure Data Lake Storage データを利用したいがデータ接続を増やしたくない
• Azure Data Lake Storage データをSQL Server のデータや他のリンクサーバーのデータをJOIN などして使いたい
• 利用したいミドルウェア・BI ツールなどにODBC やJDBC の汎用のインターフェースがないが、SQL Server には接続できる

Azure Data Lake Storage DSN の設定

まずは、本記事右側のサイドバーからADLS ODBC Driver の無償トライアルをダウンロード・インストールしてください。ODBC ドライバーのインストール完了時にODBC DSN 設定画面が立ち上がります。または、Microsoft ODBC データソースアドミニストレーターを使ってDSN を作成および設定できます。

Azure DataLakeStorage 接続プロパティの取得・設定方法

Azure DataLakeStorage Gen 1 への接続

Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

• Schema：ADLSGen1 を指定。
• Account：アカウント名に設定。
• AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
• Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 1 への認証

Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

Azure DataLakeStorage Gen 2 への接続

Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

• Schema：ADLSGen2 に設定。
• Account：ストレージアカウント名に設定。
• FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
• Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 2 への認証

Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

アクセスキーを使用した認証

アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

1. Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
2. 設定で「アクセスキー」を選択します。
3. 利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。 共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

SQL Gateway でのAzure Data Lake Storage ODBC DSN を設定

CData ODBC ドライバにはSQL Gateway が同梱されています。このSQL Gateway に、Azure Data Lake Storage ODBC Driver をサービスとして設定します。

1. 「スタート」画面から「SQL Gateway」を起動します。青い「C」のSQL Gateway ロゴが右下のインジケータに表示されます。 アプリケーションコンソールが開かない場合には、SQL Gateway アイコンを右クリックして、「Open Application」をクリックしてください。
2. アプリケーションコンソールの「Service」タブを開いて、「Add」をクリックして、新しいODBC データソースを設定します。
3. Azure Data Lake Storage ODBC の設定を行います。
   Service Name]:任意
   リモーティングDB 選択:SQL Server を選択
   Data Source:ドロップダウンでCData Azure Data Lake Storage Source Sys を選択
   Port:使用していないポートを選択
   
4. 次に「Users」タブ→「Add」からユーザーを登録します。
   ユーザー毎にFull アクセスか、Readonly か、None の権限を選択できます。
   複数のODBC データソースがある場合には、データソース毎に権限の設定が可能です。
   
   「OK」を押して、ユーザー登録を完了します。 その後「Save Changes」で設定を保存します。
5. SQL Gateway の「Service」タブで「Start」ボタンを押して、サービスを起動します。サービスの左側の〇が緑色になれば、サービスは起動中です。

SQL Server でAzure Data Lake Storage リンクサーバーを設定

SQL Gateway 側でサービスの設定が終わったら、SQL Server 側でAzure Data Lake Storage サービスをリンクサーバーとして使う設定をしましょう。

1. SQL Server Management Studio (SSMS) を開きます。
   オブジェクトエクスプローラーの「サーバーオブジェクト」で「リンクサーバー」を右クリックして、「新しいリンクサーバー」をクリックします。
2. 新しいリンクサーバーの設定画面の「全般」で、以下を入力します。
   サーバー種類：その他データソース
   プロバイダー：SQL Server Native _Client 11.0
   データソース：この例の場合、localhost, 1433 を入力
   カタログ：ODBC DSN 名を入力
   
   
3. また、「セキュリティ」では、「このセキュリティコンテキスト」を選択して、リモートログインにSQL Gateway にユーザー設定したUser 名とPassword を入力します。

これで、リンクサーバーの設定は終わりなので、「OK」を押して設定を保存します。

SSMS でデータを見てみる

SSMS のオブジェクトエクスプローラーのリンクサーバー下にAzure Data Lake Storage のリンクサーバーが作成され、「テーブル」下にAzure Data Lake Storage のデータがアプリ単位でテーブルが生成されます。
新しいクエリを選択し、Azure Data Lake Storage データを取得してみます。

このように、API のリクエストではなく通常のSQL 構文でデータを扱うことが可能になっています

Visual Studio からAzure Data Lake Storage リンクサーバーを使う

Visual Studio のサーバーエクスプローラーの「データ接続」を右クリックし、「接続の追加」をクリックして、データソースの選択画面を開きます。 データソースの選択画面でデータソースを「Microsoft SQL Server 」に選択して、「続行」を押します。

「接続の追加」画面で、以下を入力します。
サーバー名:SQL Server のサーバー名
認証:任意の認証方式
データベース名の選択または入力:※master など
※リンクサーバーを直接データベース名として入力することはできないようです。なので上位のデータベース名で設定しておきます。

「テスト接続」をして大丈夫であれば、「OK」を押して設定を完了させます。

「新しいクエリ」で、SQL でSELECT 文を書いてデータを取得してみます。

このように、通常のSQL Server のリンクサーバーと同じようにVisual Studio 内Azure Data Lake Storage データを扱うことが可能になります。 他のIDE でもSQL Server にアクセスする方法でAzure Data Lake Storage データにSQL でアクセスが可能になります。
複数データソースのJOIN などを行う場合には大変便利です。

おわりに

このようにCData ODBC ドライバと併用することで、270を超えるSaaS、NoSQL データをSQL Server に連携できます。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。