Linux/UNIX 上のPython からGoogle Cloud Storage Data にデータ連携。

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Google Cloud Storage ODBC Driver

Google Cloud Storage ODBC Driver を使って、ODBC 接続をサポートするあらゆるアプリケーション・ツールからGoogle Cloud Storage にデータ連携。

Google Cloud Storage データにデータベースと同感覚でアクセス。



CData ODBC Driver for Google Cloud Storage を使って、Linux/UNIX 上のPython アプリケーションからGoogle Cloud Storage data へのデータ連携が可能になります。Python のpyodbc モジュールを活用しましょう。

豊富なPython のエコシステムでデータ連携が簡単に行えます。 CData Linux/UNIX ODBC Driver for Google Cloud Storage とpyodbc module を使って、簡単にGoogle Cloud Storage に連携するPython アプリケーションが構築できます。本記事では、pyodbc のビルトイン機能を使って、Google Cloud Storage data に接続し、クエリを実行、表示するかを説明します。

CData ODBC Drivers をUNIX/Linux マシンで利用

The CData ODBC Drivers are supported in various Red Hat-based and Debian-based systems, including Ubuntu, Debian, RHEL, CentOS, and Fedora. There are also several libraries and packages that are required, many of which may be installed by default, depending on your system. For more information on the supported versions of Linux operating systems and the required libraries, please refer to the "Getting Started" section in the help documentation (installed and found online).

Installing the Driver Manager

Before installing the driver, check that your system has a driver manager. For this article, you will use unixODBC, a free and open source ODBC driver manager that is widely supported.

For Debian-based systems like Ubuntu, you can install unixODBC with the APT package manager:

$ sudo apt-get install unixODBC unixODBC-dev

For systems based on Red Hat Linux, you can install unixODBC with yum or dnf:

$ sudo yum install unixODBC unixODBC-devel

The unixODBC driver manager reads information about drivers from an odbcinst.ini file and about data sources from an odbc.ini file. You can determine the location of the configuration files on your system by entering the following command into a terminal:

$ odbcinst -j

The output of the command will display the locations of the configuration files for ODBC data sources and registered ODBC drivers. User data sources can only be accessed by the user account whose home folder the odbc.ini is located in. System data sources can be accessed by all users. Below is an example of the output of this command:

DRIVERS............: /etc/odbcinst.ini SYSTEM DATA SOURCES: /etc/odbc.ini FILE DATA SOURCES..: /etc/ODBCDataSources USER DATA SOURCES..: /home/myuser/.odbc.ini SQLULEN Size.......: 8 SQLLEN Size........: 8 SQLSETPOSIROW Size.: 8

Installing the Driver

You can download the driver in standard package formats: the Debian .deb package format or the .rpm file format. Once you have downloaded the file, you can install the driver from the terminal.

The driver installer registers the driver with unixODBC and creates a system DSN, which can be used later in any tools or applications that support ODBC connectivity.

For Debian-based systems like Ubuntu, run the following command with sudo or as root: $ dpkg -i /path/to/package.deb

For Red Hat systems and other systems that support .rpms, run the following command with sudo or as root: $ rpm -i /path/to/package.rpm

Once the driver is installed, you can list the registered drivers and defined data sources using the unixODBC driver manager:

List the Registered Driver(s)

$ odbcinst -q -d CData ODBC Driver for Google Cloud Storage ...

List the Defined Data Source(s)

$ odbcinst -q -s CData GoogleCloudStorage Source ...

To use the CData ODBC Driver for Google Cloud Storage with unixODBC, ensure that the driver is configured to use UTF-16. To do so, edit the INI file for the driver (cdata.odbc.googlecloudstorage.ini), which can be found in the lib folder in the installation location (typically /opt/cdata/cdata-odbc-driver-for-googlecloudstorage), as follows:

cdata.odbc.googlecloudstorage.ini

... [Driver] DriverManagerEncoding = UTF-16

Modifying the DSN

The driver installation predefines a system DSN. You can modify the DSN by editing the system data sources file (/etc/odbc.ini) and defining the required connection properties. Additionally, you can create user-specific DSNs that will not require root access to modify in $HOME/.odbc.ini.

ユーザーアカウントでの認証

ユーザー資格情報の接続プロパティを設定することなく接続できます。InitiateOAuth をGETANDREFRESH に設定したら、接続の準備が完了です。

接続すると、Google Cloud Storage OAuth エンドポイントがデフォルトブラウザで開きます。ログインして権限を付与すると、OAuth プロセスが完了します。

サービスアカウントでの認証

サービスアカウントには、ブラウザでユーザー認証を行わないサイレント認証があります。サービスアカウントを使用して、企業全体のアクセススコープを委任することもできます。

このフローでは、OAuth アプリケーションを作成する必要があります。詳しくは、ヘルプドキュメントを参照してください。以下の接続プロパティを設定したら、接続の準備が完了です:

  • InitiateOAuth: GETANDREFRESH に設定。
  • OAuthJWTCertType: PFXFILE に設定。
  • OAuthJWTCert: 生成した.p12 ファイルへのパスに設定。
  • OAuthJWTCertPassword: .p12 ファイルのパスワードに設定。
  • OAuthJWTCertSubject: 証明書ストアの最初の証明書が選ばれるように"*" に設定。
  • OAuthJWTIssuer: [サービスアカウント]セクションで[サービスアカウントの管理]をクリックし、このフィールドをサービスアカウントID フィールドに表示されているE メールアドレスに設定。
  • OAuthJWTSubject: サブジェクトタイプが"enterprise" に設定されている場合はエンタープライズID に設定し、"user" に設定されている場合はアプリユーザーID に設定。
  • ProjectId: 接続するプロジェクトのID に設定。

これで、サービスアカウントのOAuth フローが完了します。

/etc/odbc.ini or $HOME/.odbc.ini

[CData GoogleCloudStorage Source] Driver = CData ODBC Driver for Google Cloud Storage Description = My Description ProjectId = 'project1'

For specific information on using these configuration files, please refer to the help documentation (installed and found online).

You can follow the procedure below to install pyodbc and start accessing Google Cloud Storage through Python objects.

pyodbc のインストール

You can use the pip utility to install the module:

pip install pyodbc

Be sure to import with the module with the following:

import pyodbc

Python でのGoogle Cloud Storage Data への接続

You can now connect with an ODBC connection string or a DSN. Below is the syntax for a connection string:

cnxn = pyodbc.connect('DRIVER={CData ODBC Driver for Google Cloud Storage};ProjectId='project1';')

Below is the syntax for a DSN:

cnxn = pyodbc.connect('DSN=CData GoogleCloudStorage Sys;')

Execute SQL to Google Cloud Storage

Instantiate a Cursor and use the execute method of the Cursor class to execute any SQL statement.

cursor = cnxn.cursor()

Select

You can use fetchall, fetchone, and fetchmany to retrieve Rows returned from SELECT statements:

import pyodbc cursor = cnxn.cursor() cnxn = pyodbc.connect('DSN=CData GoogleCloudStorage Source;User=MyUser;Password=MyPassword') cursor.execute("SELECT Name, OwnerId FROM Buckets WHERE Name = 'TestBucket'") rows = cursor.fetchall() for row in rows: print(row.Name, row.OwnerId)

You can provide parameterized queries in a sequence or in the argument list:

cursor.execute( "SELECT Name, OwnerId FROM Buckets WHERE Name = ?", 'TestBucket',1)

Metadata Discovery

You can use the getinfo method to retrieve data such as information about the data source and the capabilities of the driver. The getinfo method passes through input to the ODBC SQLGetInfo method.

cnxn.getinfo(pyodbc.SQL_DATA_SOURCE_NAME)

You are now ready to build Python apps in Linux/UNIX environments with connectivity to Google Cloud Storage data, using the CData ODBC Driver for Google Cloud Storage.