各製品の資料を入手。
詳細はこちら →
Azure Data Factory を使用してREST のデータをインポート
CData Connect Server を使用してAzure Data Factory からREST に接続し、リアルタイムREST のデータをインポートします。
最終更新日：2022-12-01
こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。
Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Server と組み合わせると、ADF はデータフローでREST のデータにクラウドベースで即座にアクセスできます。 この記事では、Connect Server を使用してREST に接続し、ADF でREST のデータにアクセスする方法を紹介します。
CData Connect Server は、REST にクラウドベースインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなく、Azure Data Factory でのリアルタイムREST のデータへのアクセスを実現します。 CData Connect Server は、最適化されたデータ処理により、サポートされているすべてのSQL 操作（フィルタ、JOIN など）をREST に直接プッシュし、サーバー側の処理を利用して要求されたREST のデータを高速で返します。
ホスティングについて
ADF からCData Connect Server に接続するには、利用するConnect Server インスタンスをネットワーク経由での接続が可能なサーバーにホスティングして、URL での接続を設定する必要があります。CData Connect がローカルでホスティングされており、localhost アドレス（localhost:8080 など）またはローカルネットワークのIP アドレス（192.168.1.x など）からしか接続できない場合、ADF はCData Connect Server に接続することができません。
クラウドホスティングでの利用をご希望の方は、AWS Marketplace やGCP Marketplace で設定済みのインスタンスを提供しています。
REST のデータの仮想データベースを作成する
CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。
- Connect Server にログインし、「CONNECTIONS」をクリックします。
- 一覧から「REST」を選択します。
-
REST に接続するために必要な認証プロパティを入力します。
データソースへの認証については、データプロバイダーのヘルプドキュメントの「はじめに」を参照してください: データプロバイダーはREST API を双方向データベーステーブルとして、XML/JSON ファイル（ローカルファイル、一般的なクラウドサービスに保存されているファイル、FTP サーバー）を読み取り専用のビューとしてモデル化します。HTTP Basic、Digest、NTLM、OAuth、FTP などの主要な認証スキームがサポートされています。認証についての詳細は、ヘルプドキュメントの「はじめに」を参照してください。
URI を設定し、認証値を指定したら、Format を"XML" または"JSON" に設定して、データ表現をデータ構造により厳密に一致させるようにDataModel を設定します。
DataModel プロパティは、データをどのようにテーブルに表現するかを制御するプロパティで、以下の基本的な設定を切り替えます。
- Document （デフォルト）：REST データのトップレベルのドキュメントビューをモデル化します。データプロバイダーはネストされたエレメントをデータの集計として返します。
- FlattenedDocuments：ネストされたドキュメントとその親を単一テーブルとして暗黙的に結合します。
- Relational：階層データから個々の関連テーブルを返します。テーブルには、親ドキュメントにリンクする主キーと外部キーが含まれます。
リレーショナル表現の構成について詳しくは、「REST データのモデル化」を参照してください。次の例で使用されているサンプルデータもあります。データには、人、所有している車、およびそれらの車で行われたさまざまなメンテナンスサービスのエントリが含まれています。The data includes entries for people, the cars they own, and various maintenance services performed on those cars.
- 「 Test Connection」をクリックします。
- 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。
仮想データベースが作成されたら、Azure Data Factoro を含むお好みのクライアントからREST に接続できるようになります。
Azure Data Factory からリアルタイムREST のデータにアクセス
Azure Data Factory からCData Connect Server の仮想SQL Server API への接続を確立するには、以下の手順を実行します。
- Azure Data Factory にログインします。
- まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。
- 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。
-
接続設定を入力します。
- Name - 任意の名前を入力。
- Server name - Connect Server のURL とポートをカンマで区切って入力。例：CONNECT_SERVER_URL,1433
- Database name - 接続したいCData Connect Server データソースのConnection Name を入力。例：REST1
- User Name - CData Connect Server のユーザー名を入力。ユーザー名はCData Connect Server のインターフェースの右上に表示されています。 例：[email protected]
- Password - Password（Azure Key Vault ではありません）を選択してConnect Server のパスワードを入力。
- 「Create」をクリックします。
- Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。
- リンクされたサービスを作成すると、以下の画面が表示されます。
- Preview data をクリックすると、インポートされたREST テーブルが表示されます。
Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。
CData Connect Server の入手
CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください！
