Azure Data Factory を使用してFTP データをインポート

Azure Data Factory（ADF）は、フルマネージドのサーバーレスデータ統合サービスです。 CData Connect Server と組み合わせると、ADF はデータフローでFTP データにクラウドベースで即座にアクセスできます。 この記事では、Connect Server を使用してFTP に接続し、ADF でFTP データにアクセスする方法を紹介します。

CData Connect Server は、FTP にクラウドベースインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなく、Azure Data Factory でのリアルタイムFTP データへのアクセスを実現します。 CData Connect Server は、最適化されたデータ処理により、サポートされているすべてのSQL 操作（フィルタ、JOIN など）をFTP に直接プッシュし、サーバー側の処理を利用して要求されたFTP データを高速で返します。

FTP データの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

1. Connect Server にログインし、「CONNECTIONS」をクリックします。
2. 一覧から「FTP」を選択します。
3. FTP に接続するために必要な認証プロパティを入力します。

   FTP は、プレーンテキスト接続およびSSL/TLS 接続の両方をサポートします。FTP サーバーに接続するには、RemoteHost、User、およびPassword を指定します。SSLMode およびSSLServerCert を設定して、TSL/SSL による接続をセキュアにします。TLS/SSL を介した接続の設定について詳しくは、ヘルプドキュメントの「高度な設定」を参照してください。

   次の接続プロパティを設定し、ファイルシステムのリレーショナルビューをコントロールします。

   • RemotePath：現在の作業ディレクトリに設定。
   • TableDepth：ビューとしてレポートするサブフォルダの深度を制御するために設定。
   • FileRetrievalDepth：ファイルを再帰的に取得し、Root テーブルにリストするために設定。

   ストアドプロシージャ は、ファイル、のダウンロード、アップロード、およびプロトコルコマンドの送信に利用できます。 SQL を使用してサーバーと対話する方法の詳細については、ヘルプドキュメントの「データモデル」を参照してください。

4. 「 Test Connection」をクリックします。
5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Azure Data Factoro を含むお好みのクライアントからFTP に接続できるようになります。

Azure Data Factory からリアルタイムFTP データにアクセス

Azure Data Factory からCData Connect Server の仮想SQL Server API への接続を確立するには、以下の手順を実行します。

1. Azure Data Factory にログインします。
2. まだData Factory を作成していない場合は、「New -> Dataset」をクリックします。
3. 検索バーにSQL Server と入力し、表示されたら選択します。次の画面で、サーバーの名前を入力します。 Linked service フィールドで「New」を選択します。
4. 接続設定を入力します。
   • Name - 任意の名前を入力。
   • Server name - Connect Server のURL とポートをカンマで区切って入力。例：CONNECT_SERVER_URL,1433
   • Database name - 接続したいCData Connect Server データソースのConnection Name を入力。例：FTP1
   • User Name - CData Connect Server のユーザー名を入力。ユーザー名はCData Connect Server のインターフェースの右上に表示されています。 例：test@cdata.com
   • Password - Password（Azure Key Vault ではありません）を選択してConnect Server のパスワードを入力。
   • 「Create」をクリックします。
5. Set properties で、Name を設定し、続けて先ほど作成したLinked service、利用可能なTable name、Import schema のfrom connection/store を選択します。 「OK」をクリックします。
6. リンクされたサービスを作成すると、以下の画面が表示されます。
7. Preview data をクリックすると、インポートされたFTP テーブルが表示されます。
Azure Data Factory でデータフローを作成する際、このデータセットを使用できるようになりました。

CData Connect Server の入手

CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから直接100を超えるSaaS、ビッグデータ、NoSQL データソースへのSQL アクセスをお試しください！