Google Cloud Data Fusion でHubDB データを扱う方法：CData JDBC Driver

こんにちは！プロダクトスペシャリストの宮本です。

Google Cloud Data Fusion は、ノーコードでデータ連携の設定が可能な言わば GCP の ETL ツール（サービス）です。たくさんのコネクタや変換・分析機能がデフォルトで用意されているため、さまざまなデータソースを色々な組み合わせで扱うことが可能なようです。 また JDBC を扱うこともできるため、この記事では、CData JDBC Driver for HubDB データ を使って、HubDB データ データをCloud Data Fusion でGoogle BigQuery にノーコードでパイプラインします。

Cloud Data Fusion の準備

まずはCloud Data Fusion のインスタンスを作成します。

1. Data Fusion のトップ画面にある「CREATE INSTANCE」からインスタンスを作成します。
2. 作成されたインスタンス名を先ほどの画面でクリックすると以下の画面に遷移しますので、画面下部にある Service Account をコピーします。
3. 画面上部にある追加からメンバーを追加します。メンバー名は先ほどコピーした「Service Account」に合わせてください。 役割は BiqQuery へもアクセスしますので、「BigQuery 管理者」、「Cloud Data Fusion 管理者」、「Cloud Data Fusion API サービス エージェント」を付与します。

CData JDBC Driver for HubDB のアップロード

ここからは実際に、Data Fusion の設定をしていきます。 まずは JDBC Driver をアップロードを行います。

1. 「View Instance」をクリックして、Data Fusion の Control Center を開きます。
2. Control Center が表示されたら、「＋」ボタンをクリックして JDBC Driver をアップロードしていきます。
   
   • Name：アップロードしたドライバーに設定する名前
   • Class name：cdata.jdbc.hubdb.HubDBDriver
3. アップロードする際の注意点として、Driver のファイル名を name-version の形式に変更してアップロードする必要があります。 なお、jarファイルをダブルクリックした際に表示されているバージョンをもとに「hubdb-connector-java-19.0.7115.0.jar」に変更しました。
4. アップロードが成功するとこのような画面が表示されるので、「Create a Pipeline」をクリックします。

HubDB からGoogle BigQuery へのパイプラインの作成

Data Fusion のパイプライン作成

インプット元はサイドメニューの「Source」から選択します。今回は先ほどアップロードした HubDB データ の JDBC Driver を使用するため、「DataBase」を選択します。 アウトプット先は同じくサイドメニューより「Sink」→「BigQuery」を選択します。

「DataBase」の設定

「DataBase」のアイコンにカーソルを持ってくるとプロパティというボタンが表示されるのでクリックし、下記内容を設定します。

• Label：HubDB
• Reference Name：HubDB
• Plugin Name：HubDB Driver（Driver をアップロードした際の名前）
• Plugin Type：jdbc
• Connection String：HubDB へ接続する際の JDBC URL
• Import Query：インプットしたいデータを抽出するクエリ

HubDBデータソースへの接続には、パブリックHubSpotアプリケーションを使用したOAuth認証とプライベートアプリケーショントークンを使用した認証の2つの方法があります。

カスタムOAuthアプリを使用する

すべてのOAuthフローでAuthSchemeを"OAuth"に設定する必要があります。特定の認証ニーズ（デスクトップアプリケーション、Webアプリケーション、ヘッドレスマシン）に必要な接続プロパティについては、ヘルプドキュメントを確認してください。

アプリケーションを登録し、OAuthクライアント認証情報を取得するには、以下の手順を実行してください。

1. HubSpotアプリ開発者アカウントにログインします。
   • アプリ開発者アカウントである必要があります。標準のHubSpotアカウントではパブリックアプリを作成できません。
2. 開発者アカウントのホームページで、アプリタブをクリックします。
3. アプリを作成をクリックします。
4. アプリ情報タブで、ユーザーが接続する際に表示される値を入力し、必要に応じて変更します。これらの値には、パブリックアプリケーション名、アプリケーションロゴ、アプリケーションの説明が含まれます。
5. 認証タブで、「リダイレクトURL」ボックスにコールバックURLを入力します。
   • デスクトップアプリケーションを作成する場合は、http://localhost:33333のようなローカルにアクセス可能なURLに設定します。
   • Webアプリケーションを作成する場合は、ユーザーがアプリケーションを承認した際にリダイレクトされる信頼できるURLに設定します。
6. アプリを作成をクリックします。HubSpotがアプリケーションとそれに関連する認証情報を生成します。
7. 認証タブで、クライアントIDとクライアントシークレットを確認します。これらは後でドライバーを設定する際に使用します。

8. スコープの下で、アプリケーションの意図する機能に必要なスコープを選択します。

   テーブルにアクセスするには、最低限以下のスコープが必要です：

   • hubdb
   • oauth
   • crm.objects.owners.read
9. 変更を保存をクリックします。
10. 統合に必要な機能にアクセスできる本番ポータルにアプリケーションをインストールします。
    • 「インストールURL（OAuth）」の下で、完全なURLをコピーをクリックして、アプリケーションのインストールURLをコピーします。
    • コピーしたリンクをブラウザで開きます。アプリケーションをインストールする標準アカウントを選択します。
    • アプリを接続をクリックします。結果のタブは閉じて構いません。

プライベートアプリを使用する

HubSpotプライベートアプリケーショントークンを使用して接続するには、AuthSchemeプロパティを"PrivateApp"に設定します。

以下の手順に従ってプライベートアプリケーショントークンを生成できます：

1. HubDBアカウントで、メインナビゲーションバーの設定アイコン（歯車）をクリックします。
2. 左サイドバーメニューで、統合 > プライベートアプリに移動します。
3. プライベートアプリを作成をクリックします。
4. 基本情報タブで、アプリケーションの詳細（名前、ロゴ、説明）を設定します。
5. スコープタブで、プライベートアプリケーションがアクセスできるようにしたい各スコープに対して読み取りまたは書き込みを選択します。
6. テーブルにアクセスするには、最低限hubdbとcrm.objects.owners.readが必要です。
7. アプリケーションの設定が完了したら、右上のアプリを作成をクリックします。
8. アプリケーションのアクセストークンに関する情報を確認し、作成を続行をクリックし、その後トークンを表示をクリックします。
9. コピーをクリックして、プライベートアプリケーショントークンをコピーします。

接続するには、PrivateAppTokenを取得したプライベートアプリケーショントークンに設定します。

Connection String は以下の形式です。

jdbc:hubdb:AuthScheme=OAuth;OAuthClientID=MyOAuthClientID;OAuthClientSecret=MyOAuthClientSecret;CallbackURL=http://localhost:33333;InitiateOAuth=GETANDREFRESH

上のキャプチャの赤枠は、Salesforce から BigQuery へアウトプットするデータの定義となります。 こちらは「Import Query」のすぐ右上にある「Get Schema」をクリックすると下の画面が表示されますので、「Import Query」で入力したクエリを実行し、カラムを定義します。

「BigQuery」の設定

こちらも同様に BigQuery のプロパティから下記内容を設定します。

• Label：BigQuery
• Reference Name：BigQuery
• Project ID：使用するProject ID
• DataSet：使用するDataSet
• Table：使用するテーブル名、例：Account_DataFusion

作成したHubDB データ からBigQuery のパイプラインの実行

まずは作成したパイプラインをデプロイします。赤枠の「Deploy」ボタンをクリックしてデプロイを行います。

デプロイ完了後、Runボタンが表示されますので、クリックします。

このようにCData JDBC ドライバをアップロードすることで、簡単にGoogle Cloud Data Fusion でHubDB データ データをノーコードで連携し、BigQuery などへのパイプラインを作成することができます。

是非、CData JDBC Driver for HubDB 30日の無償評価版 をダウンロードして、お試しください。