Hive データをRACCOON から連携して利用

CData JDBC Driver for ApacheHive は、JDBC 標準をインプリメントし、BI ツールからIDE まで幅広いアプリケーションでHive への接続を提供します。この記事では、RACCOON からHive に接続し、CSV出力する方法を説明します。

プロジェクトの作成

下記の手順に従って、RACCOONのプロジェクト・フォーマット変換定義を作成し、Hive のJDBC抽出処理を作成します。

まず必要なファイルの配置とプロジェクトの作成を行います。

1. RACCOON の DeveloperStudio64\Engine\lib および TransferEngine\lib ディレクトリにCDATA JDBC Driver インストールディレクトリの［lib］サブフォルダ内のcdata.jdbc.apachehive.jar ファイルをコピーして配置します。
2. メニューバーから［新規作成］→［プロジェクト］をクリックします
3. 任意の［プロジェクト名称］を入力の上［作成］を、プロジェクト作成します。

フォーマット変換定義、および Hive データのJDBC 抽出処理を作成

次にフォーマット変換定義を作成し、抽出処理を構成します。

1. 左ナビゲーターペインから、作成したフォルダを右クリックし、［新規作成］→［フォーマット変換定義］をクリックします。
2. 任意の［フォーマット変換定義名称］を入力し、［作成］をクリックします。
3. パレットの［抽出処理］一覧から［汎用JDBC］を選択し、変換定義エディターへ配置します。
4. 配置した［汎用JDBC］のメッセージ設定を表示し、ドライバーとURLを設定します。
   ドライバ：cdata.jdbc.apachehive.ApacheHiveDriver
   URL: jdbc:apachehive: に続けてセミコロン区切りで接続プロパティを入力します。
   一般的なJDBC URL は次の通りです: jdbc:apachehive:Server=127.0.0.1;Port=10000;TransportMode=BINARY;
   入力後、［適用］をクリックします。
5. ［メッセージ構造エリア］から先程作成した抽出処理を右クリックし、［配下に挿入］→［テーブル］をクリックします。
6. ［フォーマット名称］では、取得対象のテーブル名を入力し、［出現回数］の最大チェックボックスのチェックを解除します。設定後、適用をクリックします。
7. 続けて、対象のカラムを指定する画面が表示されるため、対象テーブルから出力したいカラムを［フォーマット名称］に入力し、【適用］をクリックします。この操作を取得したい任意のカラム分繰り返し行います。
8. 取得対象カラム設定後、テーブルのプロパティを表示し、SELECTタブから［発行テスト］をクリックすることで、適切に［汎用JDBC］ドライバが接続されているかどうかを確認できます。
9. 以下のようにコンソールログへ［SQLクエリの発行に成功しました。］と表示されれば、接続完了です。

格納処理の作成

最後に抽出したデータの変換先として指定区切り子（CSV）の格納処理構成を行います。

1. パレットの［格納処理］一覧から［指定区切り子］を選択し、変換定義エディターへ配置します。
2. ［指定区切り子］のメッセージ設定を表示し、任意の出力ファイルパスを入力後、［適用］をクリックします。
3. ［メッセージ構造エリア］から先程作成した格納処理を右クリックし、［配下に挿入］→［レコード］をクリックします。
4. ［フォーマット名称］に任意の名称を入力し、［出現回数］の最大チェックボックスのチェックを解除します。設定後、適用をクリックします。
5. 続けて、対象のカラムを指定する画面が表示されるため、任意のカラム名を［フォーマット名称］に入力し、［適用］をクリックします。この操作を取得した任意のカラム分繰り返し行います。
6. 変換定義エディターへ戻り、［汎用JDBC接続］と［指定区切り子］を下記のように接続し、左上コマンドのマッピングをクリックします。
7. 項目のマッピング表が表示されますので、下記のように任意のフィールドへそれぞれマッピングを行います。
8. 以上で設定は完了です。［メニューバー］から［実行］をクリックし、動作確認を行います。
9. ［変換実行］をクリックします。
10. 以下のように変換実行結果が正常に終了し、指定の場所にCSVファイルが作成されていれば、処理成功です。

このようにApacheHive 内のデータをプログラムやWeb APIの処理を記述することなくRACCOON 上で処理することができるようになります。

サポートされるSQL についての詳細は、ヘルプドキュメントの「サポートされるSQL」をご覧ください。テーブルに関する情報は「データモデル」をご覧ください。