Google Data Catalog データをR で分析

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

Google Data Catalog JDBC Driver

Google Data Catalog データに連携するJava アプリケーションを素早く、簡単に開発できる便利なドライバー。



CData JDBC Driver for Google Data Catalogで標準的なR 関数とお好みの開発環境を使って、 Google Data Catalog を分析。



Pure R スクリプトおよび 標準SQL を使って、R およびJava をインストール可能なあらゆるマシン上でGoogle Data Catalog にアクセス。CData JDBC Driver for Google Data Catalog とRJDBC package を使って、R でリモートGoogle Data Catalog data を利用できます。CData Driver を使うことで、業界が認めた基準で書かれたドライバーを活用して、オープンソースでポピュラーなR 言語のデータにアクセスできます。この記事では、ドライバーを使ってGoogle Data Catalog にSQL クエリを実行する方法、および標準R 関数を呼び出してGoogle Data Catalog をビジュアライズする方法について説明します。

R をインストール

マルチスレッドのMicrosoft R Open を実行すること、またはBLAS/LAPACK ライブラリにリンクされたオープン R を実行することによって、マルチスレッドおよびマネージドコードから利益を得られたドライバーのパフォーマンスにマッチできます。ここでは、Microsoft R Open 3.2.3 を使用します。CRAN レポジトリのJan. 1, 2016 snapshot からパッケージをインストールするために事前設定されています。このsnapshot は再現性を保証します。

RJDBC パッケージをロード

ドライバーを使うにはRJDBC パッケージをダウンロードします。RJDBC パッケージをインストールしたら、次のコードを入力してパッケージをロードします。

library(RJDBC)

JDBC データソースとしてGoogle Data Catalog に接続

下記の情報を使いGoogle Data Catalog にJDBC データソースとして接続します。

  • Driver Class:cdata.jdbc.googledatacatalog.GoogleDataCatalogDriver に設定。
  • Classpath:Driver JAR の場所を設定します。デフォルトではインストールディレクトリの[lib]サブフォルダです。

dbConnect やdbSendQuery のようなDBI 関数は、R にデータアクセスコードを書くための統一インターフェースを提供します。

driver <- JDBC(driverClass = "cdata.jdbc.googledatacatalog.GoogleDataCatalogDriver", classPath = "MyInstallationDir\lib\cdata.jdbc.googledatacatalog.jar", identifier.quote = "'")

これで、DBI 関数を使ってGoogle Data Catalog に接続しSQL クエリを実行する準備が整いました。dbConnect 関数を使ってJDBC 接続を初期化します。一般的なJDBC 接続文字列は次のとおりです。

conn <- dbConnect(driver,"ProjectId=YourProjectId;")

Google Data Catalog uses the OAuth authentication standard. Authorize access to Google APIs on behalf on individual users or on behalf of users in a domain.

Before connecting, specify the following to identify the organization and project you would like to connect to:

  • OrganizationId: The ID associated with the Google Cloud Platform organization resource you would like to connect to. Find this by navigating to the cloud console.

    Click the project selection drop-down, and select your organization from the list. Then, click More -> Settings. The organization ID is displayed on this page.

  • ProjectId: The ID associated with the Google Cloud Platform project resource you would like to connect to.

    Find this by navigating to the cloud console dashboard and selecting your project from the Select from drop-down. The project ID will be present in the Project info card.

When you connect, the OAuth endpoint opens in your default browser. Log in and grant permissions to the application to completes the OAuth process. For more information, refer to the OAuth section in the Help documentation.

スキーマ Discovery

ドライバーはGoogle Data Catalog API をリレーショナルデータベース、ビュー、ストアドプロシージャとしてモデルします。次のコードを使ってテーブルリストを検出します。

dbListTables(conn)

SQL クエリの実行

dbGetQuery 関数を使ってGoogle Data Catalog API がサポートするすべてのSQL クエリを実行できます:

schemas <- dbGetQuery(conn,"SELECT Type, DatasetName FROM Schemas WHERE ProjectId = 'bigquery-public-data'")

次のコマンドを使って、結果を[data viewer]ウィンドウで見ることができます。

View(schemas)

Google Data Catalog Data をプロット

CRAN レポジトリで利用可能なあらゆるデータ初期化パッケージを使ってGoogle Data Catalog を分析する準備が整いました。ビルトインバーのplot 関数を使って簡単なバーを作成できます。

par(las=2,ps=10,mar=c(5,15,4,2)) barplot(schemas$DatasetName, main="Google Data Catalog Schemas", names.arg = schemas$Type, horiz=TRUE)