製品をチェック

無償トライアル:

無償トライアルへ

製品の情報と無償トライアルへ:

HDFS ODBC Driver

HDFS ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからHDFS にデータ連携。

HDFS データにデータベースと同感覚でアクセスして、HDFS データに使い慣れたODBC インターフェースで連携。

データ連携でお困りですか？

お問い合わせ

記事の内容

関連記事

PHP のネイティブ機能を使ってHDFS にデータ連携


CData ODBC Driver for HDFS を使って、Linux/Unix マシン上でHDFS データに連携可能なPHP アプリケーションを作成。PHP でのODBC ネイティブサポートを活用します。

古川えりか
コンテンツスペシャリスト

CData ODBC Driver for HDFS をLAMP またはWAMP スタックにドロップし、HDFS に接続されたWeb アプリケーションを構築します。本記事では、PHP のビルトインODBC 機能でHDFS データに接続し、クエリを実行して、結果を出力する手順を説明します。

UNIX/Linux マシンでCData ODBC Drivers を使用する

CData ODBC Drivers は、Ubuntu、Debian、RHEL、CentOS、Fedora など、Red Hat およびDebian ベースのさまざまなシステムでサポートされています。また、いくつかライブラリやパッケージが要求されることがありますが、それらの多くはシステムにデフォルトでインストールされています。サポートされているLinux オペレーティングシステムのバージョンと必要なライブラリの詳細については、インストール済みのもの、またはWeb 上にあるヘルプドキュメントの「はじめに」の章を参照してください。

ドライバーマネージャーをインストールする

ドライバーをインストールする前に、システムにドライバーマネージャーがあることを確認してください。この記事では、広くサポートされている無料のオープンソースODBC ドライバーマネージャーであるunixODBC を使用します。

Ubuntu のようなDebian ベースのシステムでは、APT パッケージマネージャーを使用してunixODBC をインストールできます。

$ sudo apt-get install unixODBC unixODBC-dev

Red Hat Linux ベースのシステムの場合は、yum またはdnf を使用してunixODBC をインストールできます。

$ sudo yum install unixODBC unixODBC-devel

unixODBC ドライバーマネージャーは、ドライバーの情報をodbcinst.ini ファイルから、データソースの情報をodbc.ini ファイルから読み取ります。 次のコマンドをターミナルに入力することで、システムの設定ファイルの場所を指定できます。

$ odbcinst -j

コマンドの出力は、登録されたODBC ドライバーおよびODBC データソースの設定ファイルの場所を表示します。 ユーザーデータソースにアクセスできるのは、odbc.ini ファイルがホームフォルダに格納されているユーザーアカウントだけです。システムデータソースには、すべてのユーザーがアクセスできます。 以下に、このコマンドの出力例を示します。

DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /home/myuser/.odbc.ini SQLULEN Size.......:8 SQLLEN Size........:8 SQLSETPOSIROW Size.:8

ドライバーをインストールする

標準パッケージ形式（Debian .deb パッケージ形式または.rpm ファイル形式）でドライバーをダウンロードすることができます。ファイルをダウンロードしたら、ターミナルからドライバーをインストールできます。

ドライバーインストーラーはドライバーをunixODBC に登録し、システムDSN を作成します。これは、後にODBC 接続をサポートするツールやアプリケーションで使用できます。

Ubuntu のようなDebian ベースのシステムでは、sudo またはroot で以下のコマンドを実行します。 $ dpkg -i /path/to/package.deb

Red Hat システムまたは.rpms をサポートするその他のシステムの場合は、sudo またはroot で以下のコマンドを実行します。 $ rpm -i /path/to/package.rpm

ドライバーがインストールされたら、unixODBC ドライバーマネージャーを使用し、登録されたドライバーと定義されたデータソースを一覧表示できます。

登録されているドライバーを一覧表示する

$ odbcinst -q -d CData ODBC Driver for HDFS ...

定義されたデータソースを一覧表示する

$ odbcinst -q -s CData HDFS Source ...

CData ODBC Driver for HDFS をunixODBC で使用するには、ドライバーがUTF-16 を使用するように設定されていることを確認します。そのために、インストール場所（通常はcdata.odbc.hdfs.ini）のlib フォルダにある、ドライバー（cdata.odbc.hdfs.ini）のINI ファイルを以下のように編集します。

cdata.odbc.hdfs.ini

... [Driver] DriverManagerEncoding = UTF-16

DSN を変更する

ドライバーのインストールにより、システムDSN が事前定義されます。DSN を変更するには、システムデータソースファイル（/etc/odbc.ini）を編集し、必要な接続プロパティを定義します。さらに、$HOME/.odbc.ini での変更にルートアクセスを必要としない、ユーザー固有のDSN を作成することができます。

In order to authenticate, set the following connection properties:

  • Host: Set this value to the host of your HDFS installation.
  • Port: Set this value to the port of your HDFS installation. Default port: 50070

/etc/odbc.ini または$HOME/.odbc.ini

[CData HDFS Source] Driver = CData ODBC Driver for HDFS Description = My Description Host = sandbox-hdp.hortonworks.com Port = 50070 Path = /user/root User = root

これらの構成ファイルの使用方法については、オンラインのヘルプドキュメントを参照してください。

接続を確立する

odbc_connect またはodbc_pconnect を呼び出して、HDFS への接続を開きます。 接続を閉じるには、odbc_close もしくはodbc_close_all を使います。

$conn = odbc_connect("CData ODBC HDFS Source","user","password");

接続はodbc_connect で開かれ、スクリプトが終わると終了します。odbc_pconnect メソッドで開いた接続は、スクリプトが終わっても開いたままです。これにより同じクレデンシャルであれば他のスクリプトで接続を共有することが可能です。スクリプト間で接続を共有することにより、システムリソースを節約し、クエリの実行を高速化できます。

$conn = odbc_pconnect("CData ODBC HDFS Source","user","password"); ... odbc_close($conn); //persistent connection must be closed explicitly

プリペアドステートメントを作成する

odbc_prepare を使って、プリペアドステートメントおよびパラメータライズドクエリを作成します。

$query = odbc_prepare($conn, "SELECT * FROM Files WHERE FileId = ?");

クエリを実行する

Prepared ステートメントをodbc_execute を使って実行します。

$conn = odbc_connect("CData ODBC HDFS Source","user","password"); $query = odbc_prepare($conn, "SELECT * FROM Files WHERE FileId = ?"); $success = odbc_execute($query, array('119116'));

Non-Parameterized クエリは、odbc_exec を使います。

$conn = odbc_connect("CData ODBC HDFS Source","user","password"); $query = odbc_exec($conn, "SELECT FileId, ChildrenNum FROM Files WHERE FileId = '119116'");

結果の処理

odbc_fetch_array 関数の結果セット配列としてアクセスします。

$conn = odbc_connect("CData ODBC HDFS data Source","user","password"); $query = odbc_exec($conn, "SELECT FileId, ChildrenNum FROM Files WHERE FileId = '119116'"); while($row = odbc_fetch_array($query)){ echo $row["FileId"] . "\n"; }

odbc_result_all 関数で、結果セットをHTML テーブルとして表示します。

$conn = odbc_connect("CData ODBC HDFS data Source","user","password"); $query = odbc_prepare($conn, "SELECT * FROM Files WHERE FileId = ?"); $success = odbc_execute($query, array('119116')); if($success) odbc_result_all($query);

他のサンプルクエリ

ドライバーがサポートしているSQL の詳細は、ヘルプドキュメントを参照してください。上のサンプルは、PHP community documentation for all ODBC functions をHDFS 向けに変更したものです。