DbVisualizer でAmazon S3 のデータに連携しクエリを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for AmazonS3 は、JDBC 標準に準拠し、BI ツールからIDE まで幅広いアプリケーションでAmazon S3 のデータへの接続を提供します。この記事では、DbVisualizer からAmazon S3 のデータに接続する方法、およびtable エディタを使ってAmazon S3 をロード、する方法を説明します。

CData JDBC ドライバとは？

CData JDBC ドライバは、以下の特徴を持ったリアルタイムデータ接続ツールです。

1. Amazon S3 をはじめとする、CRM、MA、グループウェア、広告、会計ツールなど多様な270種類以上のSaaS / DB に対応
2. DBeaver を含む多様なアプリケーション、ツールにAmazon S3 のデータを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData JDBC ドライバでは、1.データソースとしてAmazon S3 の接続を設定、2.DBeaver 側でJDBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

Amazon S3 のデータの新しいドライバー定義を作成

下記の手順に従い、Driver Manager を使ってDbVisualizer ツールからAmazon S3 のデータに接続します。

1. DbVisualizer で「Tools」->「Driver Manager」をクリックします。
2. 「」ボタンをクリックして新しくドライバーを作成します。
3. テンプレートは「Custom」を選択します。
4. Driver Settings タブで：
   • Name をわかりやすい名前に設定します（例：CData Amazon S3 Driver）。
   • URL Format をjdbc:amazons3: に設定します。
   • Driver artifacts and jar files (jars are loaded in order from top) セクションで：
     1. 「」ボタンをクリックして、「Add Files」に進みます。
     2. インストールディレクトリ（C:\Program Files\CData\CData JDBC Driver for Amazon S3 XXXX\）の「lib」フォルダに移動します。
     3. JAR ファイル（cdata.jdbc.AmazonS3.jar）を選択して「Open」をクリックします。
     
5. Driver Class は自動的に入力されます。もし入力されない場合は、クラス（cdata.jdbc.amazons3.AmazonS3Driver）を選択してください。

JDBC データソースへの接続を定義

「Driver Manager」を終了し、下記の手順に従ってJDBC URL に接続プロパティを入力します。

1. 「Databases」タブで「」ボタンをクリックし、先ほど作成したドライバーを選択します。

2. 「Connection」セクションで以下のオプションを設定します。

   • Database Type：ウィザードオプションを選択した場合は、データベースの種類は自動検出されます。「No Wizard」オプションを選択した場合は、「Database Type」メニューから「Generic」または「Auto Detect」オプションを選択します。
   • Driver Type：先ほど作成したドライバーを選択します。

   • Database URL：完全なJDBC URL を入力します。JDBC URL 構文は、jdbc:amazons3: に続けてセミコロン区切りでname-value ペアの接続プロパティを入力します。

     Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。

     Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。

     尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。

     アクセスキーの取得

     IAM ユーザーの資格情報を取得するには：

     1. IAM コンソールにサインインします。
     2. ナビゲーションペインで「ユーザー」を選択します。
     3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択します。

     AWS ルートアカウントの資格情報を取得するには：

     1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインインします。
     2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択します。
     3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成します。

     AWS ロールとして認証

     多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。

     （すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。

     SSO 認証

     SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。

     組み込みの接続文字列デザイナー

     JDBC URL の作成の補助として、Amazon S3 JDBC Driver に組み込まれている接続文字列デザイナーが使用できます。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。

     java -jar cdata.jdbc.amazons3.jar

     接続プロパティを入力し、接続文字列をクリップボードにコピーします。

     

     JDBC URL を構成する際に、Max Rows 接続プロパティを設定することもできます。この設定は返される行数を制限するため、レポートやビジュアライゼーションを作成する際のパフォーマンスが向上します。

     一般的な接続文字列は次のとおりです。

     jdbc:amazons3:AccessKey=a123;SecretKey=s123;
   • NOTE：Amazon S3 は認証にUser やPassword を必要としないため、Database Userid とDatabase Password には任意の値を使用できます。
3. 「Connection」タブで「Connect」をクリックします。

Amazon S3 JDBC Driver が表示するテーブルをブラウズするには、テーブルを右クリックして「Open In New Tab」をクリックします。

SQL クエリの実行には、SQL Commander ツールを使用します。「SQL Commander」->「New SQL Commander」をクリックします。利用可能なメニューから「Database Connection」、「Database」、「Schema」を選択します。

サポートされるSQL についての詳細は、ヘルプドキュメントの「サポートされるSQL」をご覧ください。テーブルに関する情報は「データモデル」をご覧ください。

おわりに