ColdFusion でHDFS データに連携する方法

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

CData JDBC Driver for HDFS は、ColdFusion のrapid development tools を使ってHDFS への接続をシームレスに統合します。この記事では、ColdFusion でHDFS に連携しHDFS テーブルをクエリする方法を説明します。

ColdFusion にHDFS のJDBC データソースを作成

下記の手順に従ってHDFS データソースを作成し、ColdFusion アプリケーションへの連携を可能にします。

1. ドライバーのJAR および.lic ファイルを、インストールディレクトリから C:\ColdFusion10\cfusion\wwwroot\WEB-INF\lib にコピーします。

   ドライバーのJAR およびlicense はインストールディレクトリの［lib］サブフォルダに配置されています。

2. ドライバーをデータソースとして追加：

   ColdFusion Administrator インターフェースで［Data & Services］ノードを展開し、［Data Sources］>［Add New Data Source］をクリックします。ダイアログが表示されたら、以下のプロパティを入力します。

   • Data Source Name：データソースの名前を入力。名前はColdFusion 変数命名規則に一致する必要があります。
   • Driver：［Other］を選択。

3. JDBC Driver のプロパティ設定:

   • JDBC URL：JDBC URL に接続プロパティを入力。JDBC のURL は以下で始まり jdbc:hdfs: 次に、セミコロン区切りでname=value ペアの接続プロパティを入力します。以下は一般的なJDBC URL です：

     jdbc:hdfs:Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;

     HDFS 接続プロパティの取得・設定方法

     HDFS への認証には、次の接続プロパティを設定します。

     • Host：HDFS インスタンスのホストに設定してください。
     • Port: HDFS インスタンスのポートに設定してください。デフォルトのポートは"50070" です。
   • Driver Class：ドライバーのクラスを入力。ドライバークラスは、以下のとおりです。cdata.jdbc.hdfs.HDFSDriver
   • Driver Name：ユーザー定義のドライバー名を入力。ドライバー名はColdFusion Administrator コンソールでデータソースを認識するために使われます。
   • Username：認証するユーザーネームを入力。
   • Password：認証するパスワードを入力。

［Actions］ カラムのCData HDFS データソースを有効にして、接続をテストできます。ステータスがOK になったら、HDFS データソースを使うことができます。

クエリを実行

下記の手順に従って、HDFS の基準に合ったレコードをクエリし、結果をHTML テーブルに出力する簡単なアプリケーションを作成します。

1. 新規ColdFusion markup ファイルでクエリを定義：C:\ColdFusion10\cfusion\wwwroot directory for ColdFusion の.cfm ファイルに次のコードを入力：

   <cfquery name="HDFSQuery" dataSource="CDataHDFS"> SELECT * FROM Files </cfquery>

   Note：CData JDBC Drivers は、cfqueryparam エレメントを使ってパラメータ化されたクエリもサポートします。例：

   <cfquery name="HDFSQuery" dataSource="CDataHDFS"> SELECT * FROM Files WHERE FileId = <cfqueryparam>119116</cfqueryparam> </cfquery>

2. CFTable を使ってHTML にテーブルを出力：

   <cftable query = "HDFSQuery" border = "1" colHeaders colSpacing = "2" headerLines = "2" HTMLTable maxRows = "500" startRow = "1"/> <cfcol header="<b>FileId</b>" align="Left" width=6 text="#FileId#"></cfcol> <cfcol header="<b>ChildrenNum</b>" align="Left" width=11 text="#ChildrenNum#"></cfcol> </cftable>

3. コードを実行してグリッドを表示します。

HTML 部分を含む以下のフルコードが利用できます。