ノーコードでクラウド上のデータとの連携を実現。
詳細はこちら →こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。
Apache Camel は、データを消費または生成するさまざまなシステムを統合できる、オープンソースの統合フレームワークです。CData JDBC Driver for AmazonS3 と組み合わせることで、リアルタイムAmazon S3 データと連携するCamel ルートを使用するJava アプリを作成できます。この記事では、Amazon S3 データをJSON ファイルに接続、クエリ、及びルーティングするアプリをNetBeans で作成する方法について説明します。
ビルトインの最適化されたデータ処理により、CData JDBC Driver は、リアルタイムAmazon S3 データとやり取りする際に比類のないパフォーマンスを提供します。Amazon S3 に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をAmazon S3 に直接プッシュし、組み込まれたSQL エンジンを利用してサポートされていない操作(主にSQL 関数とJOIN 操作)をクライアント側で処理します。組み込みの動的メタデータクエリを使用すると、ネイティブデータソース型を使用してAmazon S3 データを操作および分析することができます。
以下の手順に従って、新しいJava プロジェクトを作成し、適切な依存関係を追加します。
プロジェクトが作成されたら、アプリからリアルタイムAmazon S3 データを操作するために必要な依存関係を追加できるようになります。まだMaven を環境にインストールしていない場合、CData JDBC ドライバのJAR ファイルをプロジェクトに追加するのに必要なため、インストールしてください。
mvn install:install-file -Dfile="C:\Program Files\CData\CData JDBC Driver for AmazonS3 2019\lib\cdata.jdbc.amazons3.jar" -DgroupId="org.cdata.connectors" -DartifactId="cdata-amazons3-connector" -Dversion="19" -Dpackaging=jar
JDBC Driver をインストールしたら、プロジェクトに依存関係を追加できます。依存関係を追加するには、pom.xml を編集するか、依存関係にあるフォルダを右クリックして「Add Dependency」をクリックします。各依存関係のプロパティは以下の通りですが、「Add Dependency」ウィザードの「Query」ボックスに依存関係の名前を入力することで使用可能なライブラリを検索できます。
Dependency | Group ID | Artifact ID | Version |
---|---|---|---|
camel-core | org.apache.camel | camel-core | 3.0.0 |
camel-jackson | org.apache.camel | camel-jackson | 3.0.0 |
camel-jdbc | org.apache.camel | camel-jdbc | 3.0.0 |
camel-jsonpath | org.apache.camel | camel-jsonpath | 3.0.0 |
cdata-amazons3-connector | org.cdata.connectors | cdata-salesforce-connector | 19 |
commons-dbcp2 | org.apache.commons | commons-dbcp2 | 2.7.0 |
slf4j-log4j12 | org.slf4j | slf4j-log4j12 | 1.7.30 |
log4j | org.apache.logging.log4j | log4j | 2.12.1 |
必要な依存関係を追加したら、Java DSL(Domain Specific Language)を使用してリアルタイムAmazon S3 データにアクセスできるルートを作成できます。以下はコードの一部です。サンプルプロジェクト(zip ファイル)をダウンロードして以下を実行してください。(TODO コメントに注意してください。)
必要なクラスをメインクラスにインポートすることから始めます。
import org.apache.camel.CamelContext; import org.apache.camel.builder.RouteBuilder; import org.apache.camel.impl.DefaultCamelContext; import org.apache.camel.support.SimpleRegistry; import org.apache.commons.dbcp2.BasicDataSource; import org.apache.log4j.BasicConfigurator;
次に、main メソッドでロギングを構成し、新しいBasicDataSource を作成してレジストリに追加し、新しいCamelContext を作成して、最後にコンテクストへのルートに追加します。この例では、Amazon S3 データをJSON ファイルにルーティングします。
BasicConfigurator.configure();
BasicDataSource を作成し、ドライバークラス名(cdata.jdbc.salesforce.SalesforceDriver)とURL(必要な接続プロパティを使用)を設定します。
Amazon S3 リクエストを認可するには、管理者アカウントまたはカスタム権限を持つIAM ユーザーの認証情報を入力します。AccessKey をアクセスキーID に設定します。SecretKey をシークレットアクセスキーに設定します。
Note: AWS アカウント管理者として接続できますが、AWS サービスにアクセスするにはIAM ユーザー認証情報を使用することをお勧めします。
尚、CData 製品はAmazon S3 のファイルの一覧表示やユーザー管理情報の取得用です。S3 に保管されているExcel、CSV、JSON などのファイル内のデータを読み込みたい場合には、Excel Driver、CSV Driver、JSON Driver をご利用ください。
IAM ユーザーの資格情報を取得するには:
AWS ルートアカウントの資格情報を取得するには:
多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。RoleARN を指定することでAWS ロールを代わりに使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。
(すでにEC2 インスタンスなどで接続されているのではなく)AWS に接続している場合は、ロールを引き受けるIAM ユーザーのAccessKey とSecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey および SecretKey を指定する場合、ロールは使用できません。
SSO 認証を必要とするユーザーおよびロールには、RoleARN およびPrincipalArn 接続プロパティを指定してください。各Identity Provider に固有のSSOProperties を指定し、AccessKey とSecretKey を空のままにする必要があります。これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでSSO 認証情報を送信します。
BasicDataSource basic = new BasicDataSource(); basic.setDriverClassName("cdata.jdbc.amazons3.AmazonS3Driver"); basic.setUrl("jdbc:amazons3:AccessKey=a123;SecretKey=s123;");
CData JDBC ドライバには、接続URL の構成に役立つ組み込みの接続文字列デザイナーが含まれています。
JDBC URL の構築については、Amazon S3 JDBC Driver に組み込まれている接続文字列デザイナーを使用してください。JAR ファイルをダブルクリックするか、コマンドラインからjar ファイルを実行します。
java -jar cdata.jdbc.amazons3.jar
接続プロパティを入力し、接続文字列をクリップボードにコピーします。
SimpleRegistry reg = new SimpleRegistry(); reg.bind("myDataSource", basic); CamelContext context = new DefaultCamelContext(reg);
以下のルーティングでは、timer コンポーネントを使用して一度実行し、SQL クエリをJDBC Driver に渡します。結果はJSON として整理され、(きれいに印刷できるようにフォーマットされて)file コンポーネントに渡され、JSON ファイルとしてディスクに書き込まれます。
context.addRoutes(new RouteBuilder() { @Override public void configure() { from("timer://foo?repeatCount=1") .setBody(constant("SELECT * FROM Account LIMIT 10")) .to("jdbc:myDataSource") .marshal().json(true) .to("file:C:\\Users\\USER\\Documents?fileName=account.json"); } });
ルートを定義したら、CamelContext を開始してライフサイクルを始めます。この例では、10 秒待機してからコンテクストをシャットダウンします。
context.start(); Thread.sleep(10000); context.stop();
これで、Camel を使用してAmazon S3 からJSON ファイルにデータをルーティングするJava アプリケーションを使用できるようになりました。CData JDBC Driver for AmazonS3 の30日の無償評価版と、サンプルプロジェクトをダウンロードして(TODO コメントに注意して)、Apache Camel でリアルタイムAmazon S3 データの操作を開始します。ご不明な点があれば、サポートチームにお問い合わせください。