CSV データにSQL を使ってAnypoint からデータ連携

こんにちは！リードエンジニアの杉本です。

CData Mule Connector for CSV は、CSV をMule アプリケーションから標準SQL でのread 、write。update、およびdelete 機能を可能にします。コネクタを使うことで、Mule アプリケーションでCSV のバックアップ、変換、レポートおよび分析を簡単に行えます。

この記事では、Mule プロジェクト内のCData Mule Connector for CSV を使用してCSV 用のWeb インターフェースを作成する方法を説明します。作成されたアプリケーションを使用すると、HTTP リクエストを使用してCSV をリクエストし、結果をJSON として返すことができます。以下のアウトラインと同じ手順を、CData Mule Connector で使用し、250+ の使用可能なWeb インターフェースを作成できます。

1. Anypoint Studio で新しいMule プロジェクトを作成します。
2. ［Message Flow］にHTTP Connector を追加します。
3. HTTP Connector のアドレスを設定します。
4. CData CSV Connector をHTTP Connector の後に、同じフロー内に追加します。
5. 新しい接続を作成または既存の接続を編集し、CSV に接続するようにプロパティを構成します。(以下を参照)接続が構成されたら、［Test Connection］をクリックしてCSV への接続を確認します。

   CSV 接続プロパティの取得・設定方法

   DataSource プロパティにローカルフォルダ名を設定します。

   .csv、.tab、.txt ではない拡張子のファイルを扱う場合には、IncludeFiles 使用する拡張子をカンマ区切りで設定します。Microsoft Jet OLE DB 4.0 driver 準拠の場合にはExtended Properties を設定することができます。別の方法として、Schema.ini ファイルにファイル形式を記述することも可能です。

   CSV ファイルの削除や更新を行う場合には、UseRowNumbers をTRUE に設定します。RowNumber はテーブルKey として扱われます。

   Amazon S3 内のCSV への接続

   URI をバケットおよびフォルダに設定します。さらに、次のプロパティを設定して認証します。

   • AWSAccessKey：AWS アクセスキー（username）に設定。
   • AWSSecretKey：AWS シークレットキーに設定。

   Box 内のCSV への接続

   URI をCSV ファイルを含むフォルダへのパスに設定します。Box へ認証するには、OAuth 認証標準を使います。 認証方法については、Box への接続 を参照してください。

   Dropbox 内のCSV への接続

   URI をCSV ファイルを含むフォルダへのパスに設定します。Dropbox へ認証するには、OAuth 認証標準を使います。 認証方法については、Dropbox への接続 を参照してください。ユーザーアカウントまたはサービスアカウントで認証できます。ユーザーアカウントフローでは、以下の接続文字列で示すように、ユーザー資格情報の接続プロパティを設定する必要はありません。

   SharePoint Online SOAP 内のCSV への接続

   URI をCSV ファイルを含むドキュメントライブラリに設定します。認証するには、User、Password、およびStorageBaseURL を設定します。

   SharePoint Online REST 内のCSV への接続

   URI をCSV ファイルを含むドキュメントライブラリに設定します。StorageBaseURL は任意です。指定しない場合、ドライバーはルートドライブで動作します。 認証するには、OAuth 認証標準を使用します。

   FTP 内のCSV への接続

   URI をルートフォルダとして使用されるフォルダへのパスが付いたサーバーのアドレスに設定します。認証するには、User およびPassword を設定します。

   Google Drive 内のCSV への接続

   デスクトップアプリケーションからのGoogle への認証には、InitiateOAuth をGETANDREFRESH に設定して、接続してください。詳細はドキュメントの「Google Drive への接続」を参照してください。

6. CData CSV Connector を構成します。
   1. ［Operation］を［Select with Streaming］に設定します。
   2. ［Query type］を［Dynamic］に設定します。
   3. SQL クエリをSELECT * FROM #[message.inboundProperties.'http.query.params'.get('table')] に設定してURL パラメータtable を解析し、SELECT クエリのターゲットとして使用します。他の潜在的なURL パラメータを参照することにより、クエリをさらにカスタマイズできます。
7. ［Transform Message Component］をフローに追加します。
   1. 入力から出力のMap にPayload をマッピングします。
   2. Payload をJSON に変換するには、Output スクリプトを以下のように設定します。

        %dw 1.0
        %output application/json
        ---
        payload
                

8. CSV を表示するには、HTTP Connector 用に構成したアドレス(デフォルトではlocalhost:8081) に移動し、table のURL parameter はhttp://localhost:8081?table=Customer としてテーブル名を渡します。
   Customer データは、Web ブラウザおよびJSON エンドポイントを使用できるその他のツールでJSON として使用できます。

カスタムアプリでCSV をJSON データとして操作するためのシンプルなWeb インターフェースと、様々なBI、レポート、およびETL ツールが完成しました。Mule Connector for CSV の30日間無料トライアルをダウンロードして今すぐMule Applications でCData の違いを確認してみてください。