Clover ETL からAzure Data Lake Storage データに連携

CData JDBC Driver for ADLS は、CloverETL からAzure Data Lake Storage へのクエリ 処理を実現します。本記事では、CloverETL でJDBC Driver を使い、Azure Data Lake Storage をシンプルなCSV ファイルに変換します。

JDBC Data Source でAzure Data Lake Storage に接続

1. Azure Data Lake Storage データへの連携を作成します。CloverETL の新しいgraph で、Outline ペインのConnections ノードを右クリックして、Create Connection をクリックします。Database Connection ウィザードが表示されます。
2. ＋アイコンをクリックして、.jar ファイルをロードします。インストールディレクトリのlib フォルダの cdata.jdbc.adls.jar ファイルを選択します。
3. JDBC URL を入力します。一般的な接続文字列は： jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;

   Authenticating to a Gen 1 DataLakeStore Account

   Gen 1 uses OAuth 2.0 in Azure AD for authentication.

   For this, an Active Directory web application is required. You can create one as follows:

   1. Sign in to your Azure Account through the .
   2. Select "Azure Active Directory".
   3. Select "App registrations".
   4. Select "New application registration".
   5. Provide a name and URL for the application. Select Web app for the type of application you want to create.
   6. Select "Required permissions" and change the required permissions for this app. At a minimum, "Azure Data Lake" and "Windows Azure Service Management API" are required.
   7. Select "Key" and generate a new key. Add a description, a duration, and take note of the generated key. You won't be able to see it again.

   To authenticate against a Gen 1 DataLakeStore account, the following properties are required:

   • Schema: Set this to ADLSGen1.
   • Account: Set this to the name of the account.
   • OAuthClientId: Set this to the application Id of the app you created.
   • OAuthClientSecret: Set this to the key generated for the app you created.
   • TenantId: Set this to the tenant Id. See the property for more information on how to acquire this.
   • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

   Authenticating to a Gen 2 DataLakeStore Account

   To authenticate against a Gen 2 DataLakeStore account, the following properties are required:

   • Schema: Set this to ADLSGen2.
   • Account: Set this to the name of the account.
   • FileSystem: Set this to the file system which will be used for this account.
   • AccessKey: Set this to the access key which will be used to authenticate the calls to the API. See the property for more information on how to acquire this.
   • Directory: Set this to the path which will be used to store the replicated file. If not specified, the root directory will be used.

DBInputTable コンポーネントで、Azure Data Lake Storage データをクエリ

1. DBInputTable をReaders セクションからドラッグし、ジョブフローに置きます。ダブルクリックして、設定エディタを開きます。
2. DB コネクションプロパティで、Azure Data Lake Storage JDBC をドロップダウンから選択します。
3. SQL クエリを入力します。例： SELECT * FROM Resources

UniversalDataWriter でQuery のOutput を記述

1. Writer セクションからUniversalDataWriter をドラッグして、ジョブフローに置きます。
2. UniversalDataWriter をダブルクリックして、設定エディタを開き、ファイルURL を足します。
3. DBInputTable をダブルクリックして、Extract Metadata をクリックします。
4. DBInputTable のOutput ポートをUniversalDataWriter に接続します。
5. UniversalDataWriter のSelect Metadata メニューでResources テーブルを選択します。（UniversalDataWriter のInput ポートを右クリックしてメニューを開くことも可能です。）
6. Run をクリックして、ファイルの書き込みを実行します。