PolyBase で外部データソースとしてFTP を連携利用

詳細情報をご希望ですか?

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

FTP ODBC Driver

FTP ODBC Driver は、ODBC 接続をサポートするさまざまなアプリケーションからSalesforce リモートファイルやディレクトリのリアルタイムデータ連携を実現するパワフルなツールです。

標準ODBC ドライバーインターフェースを通じて、データベースにアクセスするのと同じ感覚でリモートデータにアクセス。



CData ODBC Driver for FTP とSQL Server 2019 のPolyBase を使って、リアルタイムFTP に外部データソースとしてアクセス。

SQL Server のPolyBase は、データベーステーブルをクエリするTransact-SQL 構文を使って、外部データにクエリする仕組みです。 CData ODBC Drivers for FTP を組み合わせて使うことで、SQL Server データと同じようにFTP へのアクセスが可能です。 本記事では、外部データソースと外部テーブルの作成から、T-SQL クエリを使ってライブFTP データへ接続を認可するところまで説明します。

CData ODBC ドライバーは、ドライバーに組み込まれた最適化されたデータ処理により、PolyBase でライブFTP データを送受信するための圧倒的なパフォーマンスを提供します。SQL Server からFTP に複雑なSQL クエリを発行すると、ドライバーはフィルタや集計などのサポートされているSQL 操作をFTP に直接プッシュダウンし、組み込みSQL エンジンを利用して、サポートされていない操作(一般的にはSQL 関数とJOIN 操作) をクライアント側で処理します。また、PolyBase を使用することで、単一のクエリを使用して分散ソースからデータをプルし、SQL Server データをFTP と結合することもできます。

FTP への接続

未指定の場合は、初めにODBC DSN(data source name)で接続プロパティを指定します。ドライバーのインストールの最後にアドミニストレーターが開きます。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および構成できます。PolyBase を使用してSQL Server に外部データソースを作成するには、System DSN を構成します。(CData FTP Sys は自動的に作成されます。)

FTP は、プレーンテキスト接続およびSSL/TLS 接続の両方をサポートします。FTP サーバーに接続するには、RemoteHost、User、およびPassword を指定します。SSLMode およびSSLServerCert を設定して、TSL/SSL による接続をセキュアにします。TLS/SSL を介した接続の設定について詳しくは、ヘルプドキュメントの「高度な設定」を参照してください。

次の接続プロパティを設定し、ファイルシステムのリレーショナルビューをコントロールします。

  • RemotePath:現在の作業ディレクトリに設定。
  • TableDepth:ビューとしてレポートするサブフォルダの深度を制御するために設定。
  • FileRetrievalDepth:ファイルを再帰的に取得し、Root テーブルにリストするために設定。

ストアドプロシージャ は、ファイル、のダウンロード、アップロード、およびプロトコルコマンドの送信に利用できます。 SQL を使用してサーバーと対話する方法の詳細については、ヘルプドキュメントの「データモデル」を参照してください。

[接続のテスト]をクリックして、DSN がFTP に正しく接続できているかを確認します。[テーブル]タブに移動し、FTP のテーブル定義を確認します。

FTP データの外部データソースを作成

接続を構成したのち、外部データソースのマスター暗号化キーと資格情報データベースを作成する必要があります。

マスター暗号化キーの作成

以下のSQL コマンドを実行して新しいマスターキー[ENCRYPTION]を作成し、外部データソースの資格情報を暗号化します。

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'password';

資格情報データベースの作成

以下のSQL コマンドを実行してFTP に接続されている外部データソースの資格情報を作成します。

Note:FTP は認証にUser やPassword を必要としないため、IDENTITY とSECRET に任意の値を使用できます。

CREATE DATABASE SCOPED CREDENTIAL ftp_creds
WITH IDENTITY = 'username', SECRET = 'password';

FTP の外部データソースを作成

以下のSQL コマンドを実行し、以前作成したDSN と資格情報を使用して、PolyBase でFTP の外部データソースを作成します。

PUSHDOWN は、デフォルトでON に設定されているため、ODBC Driver は、サーバー側の処理を利用して複雑なクエリを実行できます。

CREATE EXTERNAL DATA SOURCE cdata_ftp_source
WITH ( 
  LOCATION = 'odbc://SERVERNAME[:PORT]',
  CONNECTION_OPTIONS = 'DSN=CData FTP Sys',
  -- PUSHDOWN = ON | OFF,
  CREDENTIAL = ftp_creds
);

FTP の外部テーブルを作成

外部データソースを作成したら、CREATE EXTERNAL TABLE ステートメントを使用してSQL Server インスタンスからFTP にリンクします。テーブルカラムの定義は、CData ODBC Driver for FTP によって公開されているものと一致しなければなりません。DSN Configuration Wizard の[テーブル]タブを参照し、テーブルの定義を確認できます。

CREATE TABLE ステートメントのサンプル

以下は、FTP MyDirectory に基づいて外部テーブルを作成するステートメントの一例です。

CREATE EXTERNAL TABLE MyDirectory(
  Filesize [nvarchar](255) NULL,
  Filename [nvarchar](255) NULL,
  ...
) WITH ( 
  LOCATION='MyDirectory',
  DATA_SOURCE=cdata_ftp_source
);

SQL Server インスタンスでFTP の外部テーブルを作成すると、ローカルデータとリモートデータを同時にクエリできるようになります。CData ODBC Driver に組み込まれているクエリ処理により、可能な限り多くのクエリ処理がFTP にプッシュされることで、ローカルのリソースと計算リソースが解放されます。ODBC Driver for FTP の30日間無料トライアルをダウンロードし、SQL Server データでライブFTP データを使い始めましょう。