Linux/UNIX 上のPython からHPCC Systems データにデータ連携

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HPCC ODBC Driver

HPCC ODBC ドライバーは、ODBC 接続をサポートする任意のアプリケーションからリアルタイムなHPCC ECL クエリーデータに直接接続できるパワフルなツールです。標準のODBC ドライバーインタフェースを使用して、データベースのようにLexisNexis などのHPCC システムにアクセスし、データの読み、書き、更新を実行できます。



CData ODBC Driver for HPCC Systems を使って、Linux/UNIX 上のPython アプリケーションからHPCC Systems データへのデータ連携が可能になります。Python でpyodbc module for ODBC を活用しましょう。

豊富なPython のエコシステムでデータ連携が簡単に行えます。CData Linux/UNIX ODBC Driver for HPCC Systems とpyodbc module を使って、簡単にHPCC Systems に連携するPython アプリケーションが構築できます。本記事では、pyodbc のビルトイン関数を使って、HPCC Systems に接続し、クエリを実行、表示する方法を説明します。

CData ODBC Drivers をUNIX/Linux マシンで利用

CData ODBC Drivers は、Ubuntu、Debian、RHEL、CentOS、Fedora などの様々なRed Hat ベースおよびDebian ベースのシステムでサポートされています。必要なライブラリとパッケージもいくつかあり、システムによっては、それらがデフォルトでインストールされる場合があります。Linux オペレーティングシステムのサポートされているバージョンと必要なライブラリの詳細については、ヘルプドキュメント(オンラインでインストールおよび検索)の[はじめに]セクションを参照してください。

Driver Manager のインストール

ドライバーをインストールする前に、システムにドライバーマネジャーがあることを確認してください。この記事では、広くサポートされている無料のオープンソースODBC ドライバーマネジャーであるunixODBC を使用します。

Ubuntu のようなDebian ベースのシステムの場合、APT パッケージマネジャーを使用してunixODBC をインストールできます。

$ sudo apt-get install unixODBC unixODBC-dev

Red Hat Linux に基づくシステムの場合、yum またはdnf を使用して、unixODBC をインストールできます。

$ sudo yum install unixODBC unixODBC-devel

unixODBC ドライバーマネジャーは、odbcinst.ini ファイルからドライバーに関する情報を読み取り、odbc.ini ファイルからデータソースに関する情報を読み取ります。 ターミナルに以下のコマンドを入力すると、システム上の構成ファイルの場所を特定できます。

$ odbcinst -j

コマンドの出力には、ODBC データソースと登録済みのODBC ドライバーの構成ファイルの場所が表示されます。 ユーザーデータソースには、odbc.ini が存在するホームフォルダを持つユーザーアカウントからのみアクセスできます。システムのデータソースには、すべてのユーザーがアクセスできます。 以下は、このコマンドの出力例です。

DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /home/myuser/.odbc.ini SQLULEN Size.......:8 SQLLEN Size........:8 SQLSETPOSIROW Size.:8

ドライバーのインストール

標準パッケージ形式(Debian .deb パッケージ形式または.rpm ファイル形式)でドライバーをダウンロードすることができます。フィルをダウンロードしたら、ターミナルからドライバーをインストールできます。

ドライバーインストーラーは、ドライバーをunixODBC に登録し、システムDSN を作成します。これは、後にODBC 接続をサポートするツールやアプリケーションで使用できます。

Ubuntu のようなDebian ベースのシステムの場合、sudo を付けるか、root として次のコマンドを実行します。 $ dpkg -i /path/to/package.deb

Red Hat システムおよび.rpms をサポートするその他のシステムの場合には、sudo またはroot として以下のコマンドを実行します。 $ rpm -i /path/to/package.rpm

ドライバーがインストールされると、unixODBC ドライバーマネジャーを使用して、登録されたドライバーと定義されたデータソースを一覧表示できます。

登録済みドライバーを一覧表示

$ odbcinst -q -d CData ODBC Driver for HPCC Systems ...

定義されたデータソースを一覧表示

$ odbcinst -q -s CData HPCC Source ...

CData ODBC Driver for HPCC Systems をunixODBC で使用するには、ドライバーがUTF-16 を使用するように構成されていることを確認してください。これを行うには、以下のように、インストール場所のlib フォルダ(通常は、/opt/cdata/cdata-odbc-driver-for-hpcc) にあるドライバーのINI ファイル(cdata.odbc.hpcc.ini) を編集します。

cdata.odbc.hpcc.ini

... [Driver] DriverManagerEncoding = UTF-16

DSN の変更

ドライバーのインストールにより、システムDSN が事前定義されます。システムデータソースファイル(/etc/odbc.ini)を編集し、必要な接続プロパティを定義することで、DSN を変更できます。さらに、$HOME/.odbc.ini で変更するためにroot アクセスを必要としない、ユーザー固有のDSN を作成できます。

接続するには、次の接続プロパティを設定します。Url をサーバーのマシン名もしくはIP アドレス、およびサーバーが起動しているポートに設定します。例えば、https://server:port。Url で指定されたHPCC システムへの認証には、User およびPassword が必要です。LDAP 認証は、現在サポートされていません。

Version をWsSQL Web サーバーのバージョンに設定します。HPCC サーバーにWsSQL サービスをインストールしておく必要があることに注意してください。本製品は、HPCC システムへの連携にWsSQL Web サービスを使います。

Cluster をターゲットクラスタに設定します。

/etc/odbc.ini または$HOME/.odbc.ini

[CData HPCC Source] Driver = CData ODBC Driver for HPCC Systems Description = My Description URL = http://127.0.0.1:8510 User = test password = xA123456 Version = 1 Cluster = hthor

これらの構成ファイルの使用に関する具体的な情報については、、ヘルプドキュメントを参照してください。

以下のステップに従ってpyodbc をインストールし、Python オブジェクトを介してHPCC Systems へのアクセスを開始できます。

pyodbc のインストール

pip ユーティリティを使用してモジュールをインストールできます。

pip install pyodbc

必ず以下のコードでモジュールをインポートしてください。

import pyodbc

Python でのHPCC Systems データへの接続

これで、ODBC 接続文字列またはDSN で接続できます。以下は、接続文字列の構文です。

cnxn = pyodbc.connect('DRIVER={CData ODBC Driver for HPCC Systems};URL=http://127.0.0.1:8510;User=test;password=xA123456;Version=1;Cluster=hthor;')

以下は、DSN の構文です。

cnxn = pyodbc.connect('DSN=CData HPCC Sys;')

HPCC Systems へのSQL の実行

Cursor をインスタンス化し、Cursor クラスのexecute メソッドを使用してSQL ステートメントを実行します。

cursor = cnxn.cursor()

選択

fetchallfetchone、およびfetchmany を使用し、SELECT ステートメントから返されたRows を取得できます。

import pyodbc cursor = cnxn.cursor() cnxn = pyodbc.connect('DSN=CData HPCC Source;User=MyUser;Password=MyPassword') cursor.execute("SELECT CustomerName, Price FROM hpcc::test::orders WHERE ShipCity = 'New York'") rows = cursor.fetchall() for row in rows: print(row.CustomerName, row.Price)

パラメータ化されたクエリをシーケンスまたは因数リストで提供できます。

cursor.execute( "SELECT CustomerName, Price FROM hpcc::test::orders WHERE ShipCity = ?", 'New York',1)

メタデータの発見

getinfo メソッドを使用してデータソースやドライバーの機能に関する情報などのデータを取得できます。getinfo メソッドは、入力をODBC SQLGetInfo メソッドに渡します。

cnxn.getinfo(pyodbc.SQL_DATA_SOURCE_NAME)

CData ODBC Driver for HPCC Systems を使用してHPCC Systems に接続できるLinux/UNIX 環境で、Python アプリを構築することができるようになりました。