製品をチェック

製品についての詳細情報や無償トライアルをご案内します：

CData Connect Server

データ連携でお困りですか？

お問い合わせ

記事の内容

関連記事

Azure Data Factory を使用してParquet データをインポート


CData Connect Server を使用してAzure Data Factory からParquet に接続し、リアルタイムParquet データをインポートします。

parquet ロゴ画像
connect ロゴ画像

Connect Server

Azure Data Factory ロゴ画像

Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Server と組み合わせると、ADF はデータフローでParquet データにクラウドベースで即座にアクセスできます。 この記事では、Connect Server を使用してParquet に接続し、ADF でParquet データにアクセスする方法を紹介します。

CData Connect Server は、Parquet にクラウドベースインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなく、Azure Data Factory でのリアルタイムParquet データへのアクセスを実現します。 CData Connect Server は、最適化されたデータ処理により、サポートされているすべてのSQL 操作（フィルタ、JOIN など）をParquet に直接プッシュし、サーバー側の処理を利用して要求されたParquet データを高速で返します。

NOTE：Azure Data Factory からCData Connect Server に接続するには、利用するCData Connect Server インスタンスをネットワーク経由での接続が可能なサーバーにホスティングして、URL（myConnectInstance.cdata.com など）での接続が可能な状態にしてください。CData Connect がローカルでホスティングされており、localhost アドレス（localhost:8080 など）またはローカルネットワークのIP アドレス（192.168.1.x など）からしか接続できない場合、Azure Data Factory はCData Connect Server に接続することができません。


Parquet データの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

  1. Connect Server にログインし、「CONNECTIONS」をクリックします。 データベースを追加
  2. 一覧から「Parquet」を選択します。
  3. Parquet に接続するために必要な認証プロパティを入力します。

    Connect to your local Parquet file(s) by setting the URI connection property to the location of the Parquet file.

    コネクションを設定（Salesforce の場合）。
  4. 「 Test Connection」をクリックします。
  5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Azure Data Factoro を含むお好みのクライアントからParquet に接続できるようになります。

Azure Data Factory からリアルタイムParquet データにアクセス

Azure Data Factory からCData Connect Server の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

  1. Azure Data Factory にログインします。
    2. Logging in to ADF
  2. まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。
    3. Creating new data factory
  3. 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。
    4. Selecting SQL Server
  4. 接続設定を入力します。
    • Name - 任意の名前を入力。
    • Server name - Connect Server のURL とポートをカンマで区切って入力。例：CONNECT_SERVER_URL,1433
    • Database name - 接続したいCData Connect Server データソースのConnection Name を入力。例：Parquet1
    • User Name - CData Connect Server のユーザー名を入力。ユーザー名はCData Connect Server のインターフェースの右上に表示されています。 例：test@cdata.com
    • Password - Password（Azure Key Vault ではありません）を選択してConnect Server のパスワードを入力。
    • 「Create」をクリックします。
    5. Configuring new linked service
  5. Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。
    6. Setting the properties
  6. リンクされたサービスを作成すると、以下の画面が表示されます。
    7. Displaying the new screen
  7. Preview data をクリックすると、インポートされたParquet テーブルが表示されます。
    8. Previewing the imported table Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。

CData Connect Server の入手

CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください！