CSA Data Uploader にてAzure Data Lake Storage データを、クラウドストレージにアップロード

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Azure Data Lake Storage ODBC Driver

Azure Data Lake Storage ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからAzure Data Lake Storage にデータ連携。

Azure Data Lake Storage にデータベースと同感覚でアクセスして、Azure Data Lake Storage データに使い慣れたODBC インターフェースで双方向連携。



Azure Data Lake Storage へのライブ接続を行うデータアップロードジョブを構築

Azure Data Lake Storage 用のCData ODBC ドライバは、ODBC 標準インターフェースを利用したAzure Data Lake Storage へのライブデータアクセスを可能にし、使い慣れたSQL クエリで多種多様なBI、レポート、ETL ツールでAzure Data Lake Storage を扱うことができます 。

この記事では、Amazon S3 やGoogle Cloud Storage などのクラウドストレージへのデータプレパレーション、ファイルアップロードを得意とするCSA Data Uploader でODBC 接続を使用してAzure Data Lake Storage データの利用方法を示します。

Azure Data Lake Storage データへの接続

  1. まずODBN DSN に必要な接続プロパティの値を入力します。組み込みのMicrosoft ODBC データソースアドミニストレーターを使用してDSN を構成できます。これは、ドライバーのインストール時の最後のステップでも可能です。Microsoft ODBC データソースアドミニストレータを使用してDSN を作成および設定する方法については、ヘルプドキュメントの「はじめに」の章を参照してください。

    Authenticating to a Gen 1 DataLakeStore Account

    Gen 1 uses OAuth 2.0 in Azure AD for authentication.

    For this, an Active Directory web application is required. You can create one as follows:

    1. Sign in to your Azure Account through the .
    2. Select "Azure Active Directory".
    3. Select "App registrations".
    4. Select "New application registration".
    5. Provide a name and URL for the application. Select Web app for the type of application you want to create.
    6. Select "Required permissions" and change the required permissions for this app. At a minimum, "Azure Data Lake" and "Windows Azure Service Management API" are required.
    7. Select "Key" and generate a new key. Add a description, a duration, and take note of the generated key. You won't be able to see it again.

    To authenticate against a Gen 1 DataLakeStore account, the following properties are required:

    • Schema: Set this to ADLSGen1.
    • Account: Set this to the name of the account.
    • OAuthClientId: Set this to the application Id of the app you created.
    • OAuthClientSecret: Set this to the key generated for the app you created.
    • TenantId: Set this to the tenant Id. See the property for more information on how to acquire this.
    • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

    Authenticating to a Gen 2 DataLakeStore Account

    To authenticate against a Gen 2 DataLakeStore account, the following properties are required:

    • Schema: Set this to ADLSGen2.
    • Account: Set this to the name of the account.
    • FileSystem: Set this to the file system which will be used for this account.
    • AccessKey: Set this to the access key which will be used to authenticate the calls to the API. See the property for more information on how to acquire this.
    • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.
  2. CSA Data Uploader を開いて「設定 -> ODBC」に移動します。
  3. 「追加」をクリックします。
  4. 種別を「汎用ODBC」、「データソース名」で先ほど作成したODBC DSN を選択します。

入力後、接続テストが成功すれば設定は完了です。併せて任意のデータアップロード先の接続(Amazon S3・Google Cloud Storage など)も作成しておきましょう。

Azure Data Lake Storage ジョブの構成

続いてCSA DataUploader の対象データ参照し、クラウドストレージへデータをアップロードするジョブを構成します。

  1. 「ジョブ」のページに移動して「ジョブを作成」をクリックします。
  2. 任意の名称でジョブを作成します。ジョブ種別は「データアップロード」を選んでください。
  3. ジョブは最初に入力対象となるデータを設定します。
  4. 入力種別では、ODBC 接続を選択し、データソース名で先ほど設定したODBC DSN を選択します。併せて、Azure Data Lake Storage からデータを取得するためのSQL ベースのクエリを記述します。
  5. なお、SQL でクエリ可能なテーブルはODBC DSN の「テーブル」タブで確認できます。
  6. 入力設定を保存したら、「データ表示」ボタンをクリックすることで実際にAzure Data Lake Storage から取得したデータを確認できます。
  7. 以下のようにプレビューが表示されれば設定はOK です。
  8. 併せて出力設定先となるクラウドストレージの情報を追加してください。
  9. 事前に構成したコネクション情報で出力先を設定します。
  10. これでジョブの作成は完了です。実行することで Azure Data Lake Storage データをクラウドストレージにアップロードすることができます。