Informatica Enterprise Data Catalog にAzure Data Lake Storage データを追加

JDBC ドライバーをロード

以下はJDBC ドライバーをロードする方法です。

Informatica を実行しているホストにJDBC ドライバーをインストールします。この記事では、ドライバーがcdata.jdbc.adls.ADLS Driver にインストールされていることを前提としています。


$ java -jar setup.jar

JDBC インストールディレクトリに移動して、genericJDBC.zip と呼ばれ、ドライバーとそのライセンスファイルを含むzip ファイルを作成します。


$ cd ~/cdata-jdbc-driver-for-adls/lib
$ zip genericJDBC.zip cdata.jdbc.adls.jar cdata.jdbc.adls.lic

genericJDBC.zip ファイルをInformatica 内のCatalog Service ディレクトリに移動します。この記事では、ドライバーが/opt/informatica にインストールされていることを前提としています。

このフォルダでの作業には、root 権限が必要になるおそれがあるため、続行する前にroot に必ずsu または sudo を実行してください。


# mv genericJDBC.zip /opt/informatica/services/CatalogService/ScannerBinaries

カスタムデプロイメント構成を編集し、zip ファイルを解凍します。


# cd /opt/informatica/services/CatalogService/ScannerBinaries/CustomDeployer/
# nano scannerDeployer.xml

既存のExecutionContextProperty ノードを解凍したら、このコンテンツを含む新しいExecutionContextProperty ノードを追加します。



<ExecutionContextProperty
    isLocationProperty="true"
    dependencyToUnpack="genericJDBC.zip">
<PropertyName>JDBCScanner_DriverLocation</PropertyName>
<PropertyValue>scanner_miti/genericJDBC/Drivers</PropertyValue>
</ExecutionContextProperty>

アドミニストレーションコンソールから、Catalog Service を更新します。

Refresh the Catalog Service from the Admin console.

JDBC リソースの構成

以下の手順でJDBC リソースを構成します。

Catalog のアドミニストレーターを開き、次のプロパティを持つ新しいJDBC リソースを追加します。

Driver Class: cdata.jdbc.adls.ADLSDriver
URL: jdbc.adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;InitiateOAuth=GETANDREFRESH;

Azure DataLakeStorage 接続プロパティの取得・設定方法

Azure DataLakeStorage Gen 1 への接続

Gen 1 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

Schema：ADLSGen1 を指定。
Account：アカウント名に設定。
AzureTenant：テナントId に設定。Azure Portal 内のAzure Data Lake プロパティから取得できます。
Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 1 への認証

Gen 1 は、認証方法としてAzure Active Directory OAuth（AzureAD）およびマネージドサービスID（AzureMSI）をサポートしています。認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 1 への認証」セクションを参照してください。

Azure DataLakeStorage Gen 2 への接続

Gen 2 DataLakeStorage アカウントに接続するには、はじめに以下のプロパティを設定します。

Schema：ADLSGen2 に設定。
Account：ストレージアカウント名に設定。
FileSystem：このアカウントで使用するファイルシステム名に設定。例えば、Azure Blob コンテナ名など。
Directory：（オプション）複製したファイルを格納するためのパスを設定。指定しない場合は、ルートディレクトリが使用されます。

Azure DataLakeStorage Gen 2 への認証

Gen 2は、認証方法としてアクセスキー、共有アクセス署名（SAS）、Azure Active Directory OAuth（AzureAD）、マネージドサービスID（AzureMSI）など多様な方法をサポートしています。AzureAD、AzureMSI での認証方法は、ヘルプドキュメントの「Azure DataLakeStorage Gen 2 への認証」セクションを参照してください。

アクセスキーを使用した認証

アクセスキーを使用して接続するには、AccessKey プロパティを取得したアクセスキーの値に、AuthScheme を「AccessKey」に設定します。

Azure ポータルからADLS Gen2 ストレージアカウントのアクセスキーを取得できます。

Azure ポータルのADLS Gen2 ストレージアカウントにアクセスします。
設定で「アクセスキー」を選択します。
利用可能なアクセスキーの1つの値を「AccessKey」接続プロパティにコピーします。

共有アクセス署名（SAS）

共有アクセス署名を使用して接続するには、SharedAccessSignature プロパティを接続先リソースの有効な署名に設定して、AuthScheme を「SAS」に設定します。共有アクセス署名は、Azure Storage Explorer などのツールで生成できます。

ビルトイン接続文字列デザイナ

JDBC URL の構成については、Azure Data Lake Storage JDBC Driver に組み込まれている接続文字列デザイナを使用してください。.jar ファイルのダブルクリック、またはコマンドラインから.jar ファイルを実行します。


java -jar cdata.jdbc.adls.jar

接続プロパティを入力し、接続文字列をクリップボードにコピーします。

Using the built-in connection string designer to generate a JDBC URL (Salesforce is shown.)

JDBC URL を構成する際に、Max Rows プロパティを定めることも可能です。これによって戻される行数を制限するため、可視化・レポートのデザイン設計時のパフォーマンスを向上させるのに役立ちます。

以下は、一般的な追加の接続文字列プロパティです。


JDBC;MSTR_JDBC_JAR_FOLDER=PATH\TO\JAR\;DRIVER=cdata.jdbc.adls.ADLSDriver;URL={jdbc:adls:Schema=ADLSGen2;Account=myAccount;FileSystem=myFileSystem;AccessKey=myAccessKey;};

ユーザー名: user

パスワード: password

使用しているドライバーに要求されなくても、ユーザー名とパスワードのプロパティは必須であることに注意してください。そのようなケースでは、代わりにプレスホルダー値を入力できます。

Add a new JDBC resource (Couchbase is shown).

少なくとも一つのソースメタデータスキャンを実行するようにメタデータオプションを構成します。このスキャンではドライバーを使用し、サービスを通じて使用できるテーブル、ビュー、ストアドプロシージャを判別します。

Source Metadata: このオプションを有効にする。
Catalog: これをマルチカタログデータソースの適切なカタログに設定します。もしくは、CData に設定します。
Schema: これをマルチスキーマデータソースの適切なスキーマに設定します。もしくは、これをサービスの名前に設定します。（以下ではCouchbase）
Case-sensitivity: 通常このオプションは無効にします。大文字と小文字が区別されるデータソースに対してのみ有効にしてください。
Import stored procedures: テーブルとビューに加え、ストアドプロシージャディフィニションをインポートする場合は、これを有効にします。

Configure the source metadata settings (Couchbase is shown).

他のメタデータスキャナーは、必要に応じて有効にすることができます。

ドライバーの構成を完了し、オプションでカスタム属性とスキャナースケジュールを構成します。

［Monitoring］タブに移動し［Run］をクリックしてメタデータスキャンを実行します。データソースによっては、これに数分かかる場合があります。

スキャンが完了すると、すべてのメタデータオブジェクトの概要が［Metadata Load job］のステータスとともに表示されます。エラーが発生した場合、［Log Location］リンクを開き、インフォマティカまたはドライバーから報告されたエラーを確認できます。

検出されたメタデータを検証

［Catalog Service］を開き、データソースから検出されたメタデータを表示します。メタデータスキャナーの構成時に選択したオプションによっては、定義したリソースのテーブル、ビュー、ストアドプロシージャの任意の組み合わせが表示される場合があります。

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。

ソリューション

開催予定のイベント

サポート

ブログへ →

ナレッジベース

製品をチェック

目次