Avro データ のPostgreSQL インターフェースを作成

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

インターネット上には、多くのPostgreSQL クライアントがあります。標準のドライバーからBI、アナリティクスツールまで、PostgreSQL はデータアクセスのための一般的なインターフェースです。 JDBC ドライバーを使用することで、簡単に任意の標準クライアントから接続できるPostgreSQL エントリポイントを作成できます。

Avro にPostgreSQL データベースとしてアクセスするには、CData JDBC Driver for Avro とJDBC foreign data wrapper (FDW) を使用します。ここでは、FDW をコンパイルしてインストールし、PostgreSQL サーバーからAvro にクエリを実行します。

JDBC データソースとしてAvro データに接続する

JDBC データソースとしてAvro に接続するには、以下が必要です。

• Driver JAR path:
• JAR　は、インストールディレクトリのlib サブフォルダにあります。

• Driver class: cdata.jdbc.avro.AvroDriver

• JDBC URL: URL は、"jdbc:avro:" で始まり、セミコロンで区切られた名前と値の組み合わせで任意の接続プロパティを含めることができます。

  URI 接続プロパティをAvro ファイルの場所に設定して、ローカルのAvro ファイルに接続します。

  ビルトイン接続文字列デザイナ

  JDBC URL の構成については、Avro JDBC Driver に組み込まれている接続文字列デザイナを使用してください。JAR ファイルのダブルクリック、またはコマンドラインからJAR ファイルを実行します。

  java -jar cdata.jdbc.avro.jar

  接続プロパティを入力し、接続文字列をクリップボードにコピーします。

  以下は一般的なJDBC URL です。

  jdbc:avro:URI=C:/folder/table.avroInitiateOAuth=GETANDREFRESH

JDBC FDW を構築する

FDW は、PostgreSQL を再コンパイルせずに、PostgreSQL の拡張機能としてインストールできます。例としてjdbc2_fdw 拡張子を使用します。

1. ご使用のバージョンのJRE 共有オブジェクトから、/usr/lib/libjvm.so にシンボリックリンクを追加します。例： ln -s /usr/lib/jvm/java-6-openjdk/jre/lib/amd64/server/libjvm.so /usr/lib/libjvm.so
2. ビルドを開始する: make install USE_PGXS=1

Avro データをPostgreSQL データベースとしてクエリする

拡張機能をインストールした後、以下のステップに従ってAvro へのクエリの実行を開始します。

1. データベースにログインします。
2. データベースの拡張機能をロードする: CREATE EXTENSION jdbc2_fdw;
3. Avro のオブジェクトを作成する: CREATE SERVER Avro FOREIGN DATA WRAPPER jdbc2_fdw OPTIONS ( drivername 'cdata.jdbc.avro.AvroDriver', url 'jdbc:avro:URI=C:/folder/table.avroInitiateOAuth=GETANDREFRESH', querytimeout '15', jarfile '/home/MyUser/CData/CData\ JDBC\ Driver\ for\ Salesforce MyDriverEdition/lib/cdata.jdbc.avro.jar');
4. MySQL デーモンに認識されているユーザーのユーザー名とパスワードのユーザーマッピングを作成します。 CREATE USER MAPPING for postgres SERVER Avro OPTIONS ( username 'admin', password 'test');
5. ローカルデータベースに外部テーブルを作成する: postgres=# CREATE FOREIGN TABLE sampletable_1 ( sampletable_1_id text, sampletable_1_Id text, sampletable_1_Column1 numeric) SERVER Avro OPTIONS ( table_name 'sampletable_1');