HDFS データをDataSpider Servista の連携先として使う方法

こんにちは！リードエンジニアの杉本です。

DataSpider Servista は、異なるシステムのデータやアプリケーションをノンプログラミングで「つなぐ」データインテグレーションプラットフォームです。

CData JDBC ドライバはDataSpider Servista において、JDBC データソースとして利用することが可能です。通常のJDBC の検索・更新などのアイコンを使って、標準SQL でSaaS/Web DB のデータを扱うことを可能にします。 この記事では、DataSpider で CData JDBC Driverを利用してHDFS データに外部データとしてSQL でアクセスする方法を紹介します。

CData JDBC Driver for HDFS をDataSpider にコネクタとして登録

1. JDBC Driver をDataSpider と同じサーバーにインストール
2. DataSpider の外部JDBCドライバのパスにCData JDBC ドライバのcdata.jdbc.hdfs.jar とcdata.jdbc.hdfs.lic を配置
   DataSpider 側：DataSpiderServista\server\plugin\data_processing\modules\jdbc_adapter
   
3. グローバルリソースのプロパティで、ドライバクラス名およびURL を入力。
   
   • 接続名：任意
   • 種別：デフォルト
   • 接続タイプ：接続タイプ：JDBC（JDBC接続設定）
   • ドライバクラス名：cdata.jdbc.hdfs.HDFSDriver
   • URL：jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;

4. HDFS 接続プロパティの取得・設定方法

   HDFS への認証には、次の接続プロパティを設定します。

   • Host：HDFS インスタンスのホストに設定してください。
   • Port: HDFS インスタンスのポートに設定してください。デフォルトのポートは"50070" です。

DataSpider でHDFS データを連携利用する

あとは通常のRDB コンポーネントのように、HDFS データを扱うことが可能です。ツールパレットのJDBC からSQL 実行やストアドプロシージャ実行コンポーネントが使用できます。

例えばHDFS データの取得であれば、検索系SQL実行処理を使って、SELECT 文でHDFS データを抽出することができます。

このようにCData JDBC ドライバを使って、簡単にDataSpider でHDFS データ データをノーコードで連携利用することができます。

CData JDBC Driver for HDFS 30日の無償評価版 をダウンロードして、お試しください。