Clover ETL からHive データに連携

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for ApacheHive は、CloverETL からHive への作成、読み取り、更新、削除のCRUD コマンド 処理を実現します。本記事では、CloverETL でJDBC Driver を使い、Hive をシンプルなCSV ファイルに変換します。

JDBC Data Source でHive に接続

1. Hive データへの連携を作成します。CloverETL の新しいgraph で、Outline ペインのConnections ノードを右クリックして、Create Connection をクリックします。Database Connection ウィザードが表示されます。
2. ＋アイコンをクリックして、.jar ファイルをロードします。インストールディレクトリのlib フォルダの cdata.jdbc.apachehive.jar ファイルを選択します。
3. JDBC URL を入力します。一般的な接続文字列は： jdbc:apachehive:Server=127.0.0.1;Port=10000;TransportMode=BINARY;

   Apache Hive への接続を確立するには以下を指定します。

   • Server：HiveServer2 をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：HiveServer2 インスタンスへの接続用のポートに設定。
   • TransportMode：Hive サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。
   • 本製品においてTLS/SSL を有効化するには、UseSSL をTrue に設定します

DBInputTable コンポーネントで、Hive データをクエリ

1. DBInputTable をReaders セクションからドラッグし、ジョブフローに置きます。ダブルクリックして、設定エディタを開きます。
2. DB コネクションプロパティで、Hive JDBC をドロップダウンから選択します。
3. SQL クエリを入力します。例： SELECT * FROM Customers

UniversalDataWriter でQuery のOutput を記述

1. Writer セクションからUniversalDataWriter をドラッグして、ジョブフローに置きます。
2. UniversalDataWriter をダブルクリックして、設定エディタを開き、ファイルURL を足します。
3. DBInputTable をダブルクリックして、Extract Metadata をクリックします。
4. DBInputTable のOutput ポートをUniversalDataWriter に接続します。
5. UniversalDataWriter のSelect Metadata メニューでCustomers テーブルを選択します。（UniversalDataWriter のInput ポートを右クリックしてメニューを開くことも可能です。）
6. Run をクリックして、ファイルの書き込みを実行します。