RPA AutoMate でSpark データを連携利用

こんにちは！ドライバー周りのヘルプドキュメントを担当している古川です。

AutoMate はHelpSystems 社が提供するRPA ツールです。700項目の自動化機能と15種類の自動実行トリガーが選択可能であるためあらゆるシーンを自動化することが可能です。

また、データベースにODBC経由で接続できるアクションが含まれており、CData ODBC Driverと組み合わせることでCData が対応しているさまざまなデータソースとノーコードで連携ができるようになります。

この記事では、AutoMate と CData ODBC ドライバを使って、Spark に連携するタスクを作成します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持った製品です。

1. Spark をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレデータソースに対応
2. 多様なアプリケーション、ツールにSpark データを連携
3. ノーコードでの手軽な接続設定
4. 標準SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてSpark の接続を設定、2.Automate 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとSpark への接続設定

まずは、本記事右側のサイドバーからSparkSQL ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

1. まずODBC DSN に必要な接続プロパティの値を入力します。 組み込みのMicrosoft ODBC データソースアドミニストレーターを使用してDSN を構成できます。 これは、ドライバのインストール時の最後のステップでも可能です。 Microsoft ODBC データソースアドミニストレータを使用してDSN を作成および設定する方法については、ヘルプドキュメントの「はじめに」の章を参照してください。
   
   

   SparkSQL への接続

   SparkSQL への接続を確立するには以下を指定します。

   • Server：SparkSQL をホストするサーバーのホスト名またはIP アドレスに設定。
   • Port：SparkSQL インスタンスへの接続用のポートに設定。
   • TransportMode：SparkSQL サーバーとの通信に使用するトランスポートモード。有効な入力値は、BINARY およびHTTP です。デフォルトではBINARY が選択されます。
   • AuthScheme：使用される認証スキーム。有効な入力値はPLAIN、LDAP、NOSASL、およびKERBEROS です。デフォルトではPLAIN が選択されます。

   Databricks への接続

   Databricks クラスターに接続するには、以下の説明に従ってプロパティを設定します。Note：必要な値は、「クラスター」に移動して目的のクラスターを選択し、 「Advanced Options」の下にある「JDBC/ODBC」タブを選択することで、Databricks インスタンスで見つけることができます。

   • Server：Databricks クラスターのサーバーのホスト名に設定。
   • Port：443
   • TransportMode：HTTP
   • HTTPPath：Databricks クラスターのHTTP パスに設定。
   • UseSSL：True
   • AuthScheme：PLAIN
   • User：'token' に設定。
   • Password：パーソナルアクセストークンに設定（値は、Databricks インスタンスの「ユーザー設定」ページに移動して「アクセストークン」タブを選択することで取得できます）。

2. 入力後、接続テストが成功すれば設定は完了です。

AutoMate でタスクを作成する

それでは AutoMate でタスクを作成していきましょう。

1. タスク アドミニストレーターを起動し新規タスクを作成します。
2. 任意のタスク名を入力して、次へ進みます。
3. トリガーを追加し、タスクビルダーを起動します。「タスクビルダーを開始する」をクリックします。

AutoMate でSpark へのDB 接続を構成

続いて AutoMate でODBC への接続構成を行います。

1. ODBC 接続は「データベース」のアクションを使って構成していきます。
2. まずは接続を確立します。「SQL 接続を開く」アクションをドラッグアンドドロップで配置しましょう。
3. プロパティの「接続」で接続設定をします。「接続の構築」をクリックします。
4. 接続するプロバイダーを選択します。「Microsoft OLE DB Provider for ODBC Drivers」を選択します。
5. データソースを指定します。接続設定は完了です。

Spark のデータをAutoMate で扱う

接続セッションの構成が完了したら、実際にデータを読み取るアクションを設定しましょう。

1. SQL クエリでデータを取得するため「SQL クエリ」アクションを配置します。
2. 「SQL クエリ」アクション では「SQL ステートメント」に対してSQL を入力して、データを取得することができます。
3. 取得したデータを後続ステップで利用するため、データセットを作成します。
4. CSV に出力して取得データを確認します。

作成したタスクの動作を確認する

それでは作成したタスクを実際に動かしてみましょう。

1. タスクは画面上にある「実行」で手動実行が可能です。
2. 処理の完了は画面下の出力から確認できます。
3. 指定したCSV ファイルを開きます。正常にSpark のデータを元にしたCSV ファイルが生成されていました。