SAS for Real-Time Reporting and Analytics でCData ODBC Driver for Azure Data Lake Storage を使用

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Azure Data Lake Storage ODBC Driver

Azure Data Lake Storage ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからAzure Data Lake Storage にデータ連携。

Azure Data Lake Storage にデータベースと同感覚でアクセスして、Azure Data Lake Storage データに使い慣れたODBC インターフェースで双方向連携。



CData ODBC Driver for Azure Data Lake Storage を使用してSAS からリアルタイムAzure Data Lake Storage に接続します。

SAS は、高度なアナリティクス、多変量解析、BI、データ管理、予測分析のためのソフトウェアです。SAS とCData ODBC Driver for Azure Data Lake Storage を合わせて使うことで、SAS からライブAzure Data Lake Storage データへデータベースライクにアクセスできるようになり、レポーティング、分析能力を向上できます。本記事では、SAS でAzure Data Lake Storage のライブラリを作成し、リアルタイムAzure Data Lake Storage に基づいたシンプルなレポートを作成します。

CData ODBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、SAS でライブAzure Data Lake Storage データを送受信する場合に圧倒的なパフォーマンスを提供します。SAS からAzure Data Lake Storage に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAzure Data Lake Storage に直接プッシュし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作)をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、SAS でAzure Data Lake Storage を簡単にビジュアライズおよび分析できます。

ODBC Data Source としてAzure Data Lake Storage に接続

以下は、Azure Data Lake Storage に接続するための情報と、Windows およびLinux 環境でDSN を構成するための様々なステップです。ODBC Driver for Azure Data Lake Storage は、SAS System をホストしているマシンにインストールする必要があります。

Authenticating to a Gen 1 DataLakeStore Account

Gen 1 uses OAuth 2.0 in Azure AD for authentication.

For this, an Active Directory web application is required. You can create one as follows:

  1. Sign in to your Azure Account through the .
  2. Select "Azure Active Directory".
  3. Select "App registrations".
  4. Select "New application registration".
  5. Provide a name and URL for the application. Select Web app for the type of application you want to create.
  6. Select "Required permissions" and change the required permissions for this app. At a minimum, "Azure Data Lake" and "Windows Azure Service Management API" are required.
  7. Select "Key" and generate a new key. Add a description, a duration, and take note of the generated key. You won't be able to see it again.

To authenticate against a Gen 1 DataLakeStore account, the following properties are required:

  • Schema: Set this to ADLSGen1.
  • Account: Set this to the name of the account.
  • OAuthClientId: Set this to the application Id of the app you created.
  • OAuthClientSecret: Set this to the key generated for the app you created.
  • TenantId: Set this to the tenant Id. See the property for more information on how to acquire this.
  • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

Authenticating to a Gen 2 DataLakeStore Account

To authenticate against a Gen 2 DataLakeStore account, the following properties are required:

  • Schema: Set this to ADLSGen2.
  • Account: Set this to the name of the account.
  • FileSystem: Set this to the file system which will be used for this account.
  • AccessKey: Set this to the access key which will be used to authenticate the calls to the API. See the property for more information on how to acquire this.
  • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

DSN を構成する際に、Max Rows プロパティを定めることも可能です。これによって返される行数を制限するため、ビジュアライゼーション・レポートのデザイン時のパフォーマンスを向上させるのに役立ちます。

Windows

未指定の場合は、初めにODBC DSN(data source name)で接続プロパティを指定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および構成できます。

Linux

Linux 環境にCData ODBC Driver for Azure Data Lake Storage をインストールする場合、ドライバーのインストールによりシステムDSN が事前定義されます。システムデータソースファイル(/etc/odbc.ini) を編集し、必要な接続プロパティを定義することで、DSN を変更できます。

/etc/odbc.ini

[CData ADLS Sys] Driver = CData ODBC Driver for Azure Data Lake Storage Description = My Description Schema = ADLSGen2 Account = myAccount FileSystem = myFileSystem AccessKey = myAccessKey

これらの構成ファイルの使用に関する具体的な情報については、ヘルプドキュメントを参照してください。

SAS でAzure Data Lake Storage ライブラリを作成

CData ODBC Driver for Azure Data Lake Storage に基づくライブラリを追加することで、SAS でAzure Data Lake Storage に接続します。

  1. SAS を開き、[Explorer]ペインで[Libraries]を展開します。
  2. [Active Libraries]ウィンドウで右クリックし、[New]を選択します。
  3. ライブラリに名前を付け(odbclib)、Engine としてODBC を選択し、ライブラリをセッション間で保持する場合は[Enable at startup]をクリックします。
  4. Data Source を以前構成したDSN に設定し、[OK]をクリックします。

Azure Data Lake Storage クエリからビューを作成

SAS は、ローコードのポイントアンドクリッククエリツールを使用するか、PROC SQL とカスタムSQL クエリのプログラムを使うことで、データのクエリをネイティブにサポートします。SAS でビューを作成すると、ビューがクエリされるたびに定義クエリが実行されます。これは、レポート、チャート、分析について常にライブAzure Data Lake Storage データにクエリを実行することを意味します。

クエリツールの使用

  1. SAS で[Tools]->[Query]と進みます。
  2. データをプルするテーブルソースとテーブルを選択し、[OK]をクリックします。
  3. カラムを選択し、右クリックしてフィルタリング、順序付け、グループ化などを追加します。
  4. [SQL Query Tool]ウィンドウを右クリックして[Show Query]を選択し、[Create View]をクリックして、クエリの結果を含むローカルビューを作成します。ビューに名前を付け、[OK] をクリックします。

PROC SQL の使用

  1. SAS で、[Editor]ウィンドウに移動します。
  2. PROC SQL を使用してデータをクエリし、ローカルビューを作成します。
    Note:このステップにより、[Work]ライブラリにビューが作成されます。オプションとして、create view ステートメントでライブラリを指定できます。
    proc sql;
      create view resources_view as
      select 
        fullpath, 
        permission 
      from 
        odbclib.resources 
      where 
        Type = 'FILE';
    quit;
    
  3. [Run]->[Submit]とクリックしてクエリを実行し、ローカルビューを作成します。

SAS のAzure Data Lake Storage データに関するレポートまたはビジュアライズ

ローカルビューを作成すると、パワフルなSAS 機能を使用してAzure Data Lake Storage データをレポート、ビジュアライズ、またはその他の方法で分析できます。PROC PRINT を使用して簡単なレポートを印刷し、PROC GCHART を使用してデータに基づいた基本的なグラフを作成しましょう。

HTML を印刷

  1. SAS で、[Editor]ウィンドウに移動します。
  2. PROC PRINT を使用してAzure Data Lake Storage Resources データのHTML レポートを印刷します。
    proc print data=resources;
      title "Azure Data Lake Storage Resources Data";
    run;
    

チャートを印刷

  1. SAS で、[Editor]ウィンドウに移動します。
  2. PROC GCHART を使用してResources データのチャートを作成します。
    proc gchart data=resources;
      pie fullpath / sumvar=permission
          value=arrow
          percent=arrow
          noheading
          percent=inside plabel=(height=12pt)
          slice=inside value=none
          name='ResourcesChart';
    run;