Azure Data Lake Storage データに連携しTalend からデータに接続

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Azure Data Lake Storage JDBC Driver

Azure Data Lake Storage データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



Azure Data Lake Storage をTalend Open Studio の標準コンポーネントおよびデータソース設定ウィザードに統合。



この記事では、Talend で簡単にCData JDBC driver for Azure Data Lake Storage をワークフローに統合してAzure Data Lake Storage データ連携する方法を説明します。ここではCData JDBC Driver for Azure Data Lake Storage を使ってTalend でAzure Data Lake Storage をジョブフローに転送します。

※製品について詳しい情報をご希望の方は以下からお進みください。

JDBC データソースとしてTalend でAzure Data Lake Storage に接続

下記の手順に従って、Azure Data Lake Storage にJDBC 接続を確立します:

  1. Azure Data Lake Storage を新しいデータベース接続を追加:新しく接続を追加するには、[Metadata]ノードを展開し[Db Connections]ノードを右クリックして[Create Connection]をクリックします。
  2. ウィザードが表示されたら、接続に名前を入力します。
  3. 次のページで、[DB Type]メニューから[Generic JDBC]を選択してJDBC URL を入力します。

    Authenticating to a Gen 1 DataLakeStore Account

    Gen 1 uses OAuth 2.0 in Azure AD for authentication.

    For this, an Active Directory web application is required. You can create one as follows:

    1. Sign in to your Azure Account through the .
    2. Select "Azure Active Directory".
    3. Select "App registrations".
    4. Select "New application registration".
    5. Provide a name and URL for the application. Select Web app for the type of application you want to create.
    6. Select "Required permissions" and change the required permissions for this app. At a minimum, "Azure Data Lake" and "Windows Azure Service Management API" are required.
    7. Select "Key" and generate a new key. Add a description, a duration, and take note of the generated key. You won't be able to see it again.

    To authenticate against a Gen 1 DataLakeStore account, the following properties are required:

    • Schema: Set this to ADLSGen1.
    • Account: Set this to the name of the account.
    • OAuthClientId: Set this to the application Id of the app you created.
    • OAuthClientSecret: Set this to the key generated for the app you created.
    • TenantId: Set this to the tenant Id. See the property for more information on how to acquire this.
    • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

    Authenticating to a Gen 2 DataLakeStore Account

    To authenticate against a Gen 2 DataLakeStore account, the following properties are required:

    • Schema: Set this to ADLSGen2.
    • Account: Set this to the name of the account.
    • FileSystem: Set this to the file system which will be used for this account.
    • AccessKey: Set this to the access key which will be used to authenticate the calls to the API. See the property for more information on how to acquire this.
    • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

    以下は一般的なJDBC URL です:

    jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;
  4. インストールディレクトリの[lib]サブフォルダ内にあるcdata.jdbc.adls.jar ファイルへのパスを入力します。
  5. 接続を右クリックして[Retrieve Schema]をクリックします。
  6. デフォルトオプションで[Next]をクリックしインポートしたいテーブルを選択します。
  7. デフォルトオプションでウィザードを終了します。

Resources テーブルをフラットファイルに出力

下記の手順に従って、Resources テーブルをフラットファイル出力コンポーネントに転送します:

  1. [Table Schemas]ノードで、テーブルをワークスペース内にドラッグします。
  2. ダイアログが表示されたら[tJDBCInput]コンポーネントを選択します。
  3. 次に、[tFileOutputDelimited]コンポーネントをPalette の[Business Intelligence]タブからワークスペース内にドラッグします。
  4. Resources tJDBCInput コンポーネントを右クリックしてベクタを出力ファイルにドラッグします。

プロジェクトを実行してデータを転送します。