製品をチェック

製品の詳細・30日間の無償トライアルはコチラ

CData Connect

Azure Data Factory を使用してGitHub データをインポート

CData Connect Server を使用してAzure Data Factory からGitHub に接続し、リアルタイムGitHub データをインポートします。

古川えりか
コンテンツスペシャリスト

最終更新日:2022-12-01

こんにちは!ドライバー周りのヘルプドキュメントを担当している古川です。

Azure Data Factory(ADF)は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Server と組み合わせると、ADF はデータフローでGitHub データにクラウドベースで即座にアクセスできます。 この記事では、Connect Server を使用してGitHub に接続し、ADF でGitHub データにアクセスする方法を紹介します。

CData Connect Server は、GitHub にクラウドベースインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなく、Azure Data Factory でのリアルタイムGitHub データへのアクセスを実現します。 CData Connect Server は、最適化されたデータ処理により、サポートされているすべてのSQL 操作(フィルタ、JOIN など)をGitHub に直接プッシュし、サーバー側の処理を利用して要求されたGitHub データを高速で返します。

ホスティングについて

ADF からCData Connect Server に接続するには、利用するConnect Server インスタンスをネットワーク経由での接続が可能なサーバーにホスティングして、URL での接続を設定する必要があります。CData Connect がローカルでホスティングされており、localhost アドレス(localhost:8080 など)またはローカルネットワークのIP アドレス(192.168.1.x など)からしか接続できない場合、ADF はCData Connect Server に接続することができません。

クラウドホスティングでの利用をご希望の方は、AWS MarketplaceGCP Marketplace で設定済みのインスタンスを提供しています。


GitHub データの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

  1. Connect Server にログインし、「CONNECTIONS」をクリックします。 データベースを追加
  2. 一覧から「GitHub」を選択します。
  3. GitHub に接続するために必要な認証プロパティを入力します。

    GitHub への接続には、OAuth 2 認証標準を使います。OAuth で認証するには、アプリを作成してOAuthClientId、OAuthClientSecret、およびCallbackURL 接続プロパティを取得する必要があります。詳細はヘルプドキュメントの「はじめに」を参照してください。

    コネクションを設定(Salesforce の場合)。

  4. Test Connection」をクリックします。
  5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Azure Data Factoro を含むお好みのクライアントからGitHub に接続できるようになります。

Azure Data Factory からリアルタイムGitHub データにアクセス

Azure Data Factory からCData Connect Server の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

  1. Azure Data Factory にログインします。
  2. Logging in to ADF
  3. まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。
  4. Creating new data factory
  5. 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。
  6. Selecting SQL Server
  7. 接続設定を入力します。
    • Name - 任意の名前を入力。
    • Server name - Connect Server のURL とポートをカンマで区切って入力。例:CONNECT_SERVER_URL,1433
    • Database name - 接続したいCData Connect Server データソースのConnection Name を入力。例:GitHub1
    • User Name - CData Connect Server のユーザー名を入力。ユーザー名はCData Connect Server のインターフェースの右上に表示されています。 例:test@cdata.com
    • Password - Password(Azure Key Vault ではありません)を選択してConnect Server のパスワードを入力。
    • 「Create」をクリックします。
  8. Configuring new linked service
  9. Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。
  10. Setting the properties
  11. リンクされたサービスを作成すると、以下の画面が表示されます。
  12. Displaying the new screen
  13. Preview data をクリックすると、インポートされたGitHub テーブルが表示されます。
  14. Previewing the imported table Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。

CData Connect Server の入手

CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください!

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。