製品をチェック

製品の詳細・30日間の無償トライアルはこちら

CData Connect

Choreo でParquet とデータ連携するアプリを作成

CData Connect Server を使ってChoreo からParquet に接続し、リアルタイムParquet のデータと連携するカスタムアプリを構築します。

杉本和也
リードエンジニア

最終更新日:2022-11-20

こんにちは!リードエンジニアの杉本です。

Choreo は、ローコードおよびクラウドネイティブなSaaS 開発のための多機能かつ包括的なプラットフォームです。 開発者は、高度なコーディングスキルがなくても、Choreo のローコード環境を利用することで簡単にアプリケーションを構築することができます。 さらにCData Connect Server と連携することで、アプリケーションにParquet のデータへのクラウドベースのアクセスを即座に追加できます。 この記事では、Connect Server からParquet に接続し、Choreo からリアルタイムParquet のデータにアクセスするアプリケーションを作成する方法を紹介します。

CData Connect Server は、Parquet にクラウドベースのインターフェースを提供し、ネイティブにサポートされているデータベースにデータを複製することなくChoreo でリアルタイムParquet のデータを使用するアプリケーションを構築できるようにします。 CData Connect Server は最適化されたデータ処理により、サポートされているすべてのSQL 操作(フィルタ、JOIN など)をParquet に直接発行し、サーバー側の処理を利用して要求されたParquet のデータを高速で返します。

ホスティングについて

Choreo からCData Connect Server に接続するには、利用するConnect Server インスタンスをネットワーク経由での接続が可能なサーバーにホスティングして、URL での接続を設定する必要があります。CData Connect がローカルでホスティングされており、localhost アドレス(localhost:8080 など)またはローカルネットワークのIP アドレス(192.168.1.x など)からしか接続できない場合、Choreo はCData Connect Server に接続することができません。

クラウドホスティングでの利用をご希望の方は、AWS MarketplaceGCP Marketplace で設定済みのインスタンスを提供しています。


Parquet のデータの仮想データベースを作成する

CData Connect Server は、シンプルなポイントアンドクリックインターフェースを使用してデータソースに接続し、データを取得します。まずは、右側のサイドバーのリンクからConnect Server をインストールしてください。

  1. Connect Server にログインし、「CONNECTIONS」をクリックします。 データベースを追加
  2. 一覧から「Parquet」を選択します。
  3. Parquet に接続するために必要な認証プロパティを入力します。

    Parquet 接続プロパティの取得・設定方法

    ローカルのParquet ファイルに接続するには、URI 接続プロパティをParquet ファイルへのパスに設定してください。

    コネクションを設定(Salesforce の場合)。
  4. Test Connection」をクリックします。
  5. 「Permission」->「 Add」とクリックし、適切な権限を持つ新しいユーザー(または既存のユーザー) を追加します。

仮想データベースが作成されたら、Choreo を含むお好みのクライアントからParquet に接続できるようになります。

Choreo からParquet への接続

以下のステップでは、Choreo からCData Connect Server に接続し、リアルタイムParquet のデータにアクセスできる新しいアプリケーションを作成する方法を紹介します。

コンストラクトを作成する

  1. Choreo プラットフォームにサインインします。Note:この記事は、Anonymously を選択した場合について説明しています。 Displaying Choreo landing page
  2. 左サイドバーからComponents を選択し、+Create をクリックします。次に、Manual Trigger を選択し、続けてStart from scratch を選択します。 Selecting manual trigger
  3. マニュアルトリガーのName とDescription を入力し、Create をクリックします。 Creating manual trigger
  4. トリガーが作成されたら、Edit Code をクリックします。 Clicking Edit Code
  5. Ballerina Low-Code IDE が表示されます。Choreo は、ローコードダイアグラムビューでコンストラクトを自動生成します。 このコンストラクトをハイライトしてゴミ箱アイコンをクリックし、削除します。 Showing Ballerina Low-Code IDE
  6. 画面上部の + アイコンをクリックし、右サイドのAdd Constructs ツールバーにあるMain を選択します。 続けてFunction Configuration フォームでSave をクリックします。 Adding a Construct

CData Connect Server コネクタを追加する

  1. 楕円形のSTART とEND の間にある + アイコンをクリックして、Connector をクリックします。
  2. Adding a Connector
  3. 右サイドバーのConnectors で「CData」を検索します。CData Connect をクリックしてConnector 設定ペインを開きます。
  4. Searching for CData Connector
  5. Connector 設定ペインで、構成の設定を入力します。
    • 使用するEndpoint Name を入力します。例では「connectEndpoint」を使用しています。
    • User フィールドに、CData Connect Server ユーザーのE メールアドレスを引用符で囲んで入力します(例:"[email protected]")。
    • Password フィールドにConnect Server のパスワードを引用符で囲んで入力します(例:"SampleToken")。
  6. Configuring an endpoint
  7. Save をクリックすると、CData Connect Server のロゴがついたローコードエディタが表示されます。
  8. Displaying the new CData connector

クエリのアクションを追加する

  1. newend の間の + アイコンをクリックし、Action を選択して既存のコネクタエンドポイントを選択します。
  2. Creating an Action
  3. connector Operation クエリを選択します。右側にAction ペインが表示されます。
  4. Showing Action pane
  5. Parquet のデータを取得するためのSQL クエリを、querysqlQuery パラメータとして入力します。次に例を示します。 SELECT * FROM Parquet1.Parquet.SampleTable_1 LIMIT 10
    • クエリを入力する際、カタログにConnection Name を、スキーマにData Source Name を必ず指定してください。例えば、Parquet1.Parquet です。
    • これらのパラメータはCData Connect Server のConnections ページに表示されます。

Parquet のデータを反復処理する

  1. コードエディタの右上にあるShow Source アイコンをクリックします。
  2. ballerina/io ライブラリをインポートするimport 文を追加します。
    		
    		import ballerina/io;
    	
  3. 次に、SQL クエリの結果を繰り返し処理するために、query アクションの後にfrom 文を追加します。
  4. 		
    		check from record{} result in resultStream
    		do {
    			io:println("Full SampleTable_1 details: ", result);
    		};
    	
  5. コンストラクトのコードは次のようになります。
  6. 			
    			import ballerinax/cdata.connect;
    			import ballerinax/cdata.connect.driver as _;
    			import ballerina/io;
    
    			public function main() returns error? {
    				connect:Client connectEp = check new (user = "connect_cloud_username", password="connect_cloud_pat");
    
    				stream<record {}, error=""?> resultStream =
    				connectEp->query(sqlQuery = `SELECT * FROM Parquet1.Parquet.SampleTable_1 LIMIT 10`);
    
    				check from record{} result in resultStream
    				do {
    					io:println("Full SampleTable_1 details: ", result);
    				};
    			}
    		
  7. Save をクリックしてアクションを保存します。次のようなダイアグラムになります。
  8. Displaying the new endpoint in Ballerina

プログラムをデプロイする

必要とするアクションをすべてプログラムに追加したら、次のステップに進みます。

  1. Web エディタで最終的なソースコードをコミットしてプッシュし、その変更をChoreo プラットフォームに同期します。
  2. Choreo Console の左ナビゲーションバーでDeploy をクリックします。
  3. Build Area でConfigure & Deploy をクリックし、プログラムをデプロイします。
  4. プロンプトが表示されたら、先ほど使用したCData Connect Server のユーザー名とパスワードを入力し、Deploy をクリックします。
  5. Deploying the program

Choreo でリアルタイムParquet のデータにアクセスできるアプリケーションを作成できました。

CData Connect Server の入手

Choreo をCData Connect Server で連携するための詳細は、CData Connect Ballerina Guide を参照してください。 CData Connect Server の30日間無償トライアルを利用して、クラウドアプリケーションから100を超えるSaaS、ビッグデータ、NoSQL データソースへのダイレクトなSQL アクセスをお試しください!

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。