データ統合ツールQlik Replicate を使ってAmazon Athena のデータをMySQL にレプリケートする方法

こんにちは！リードエンジニアの杉本です。

Qlik Replicate はBI ツールのQlik Sense で有名な、Qlik 社が提供するデータ分析基盤のためのデータパイプライン・データ統合ツールです。主要なプラットフォームに多く対応しているのが特徴で、AWS・GCP・Azure・Oracle・Snowflake などのDWH に各種データを取り込むことが可能です。

Qlik Replicate ではODBC インターフェースが用意されているので、CData ODBC Driver for AmazonAthena と組み合わせることで、各種クラウドサービスのAPI にアクセスすることができるようになります。本記事では、CData ODBC ドライバを使ってQlik Replicate からAmazon Athena データをMySQL にレプリケートする方法をご紹介します。

CData ODBC ドライバとは？

CData ODBC ドライバは、以下のような特徴を持ったリアルタイムデータ連携ソリューションです。

1. Amazon Athena をはじめとする、CRM、MA、会計ツールなど多様なカテゴリの270種類以上のSaaS / オンプレミスデータソースに対応
2. 多様なアプリケーション、ツールにAmazon Athena データを連携
3. ノーコードでの手軽な接続設定
4. 標準 SQL での柔軟なデータ読み込み・書き込み

CData ODBC ドライバでは、1.データソースとしてAmazon Athena の接続を設定、2.Qlik Replicate 側でODBC Driver との接続を設定、という2つのステップだけでデータソースに接続できます。以下に具体的な設定手順を説明します。

CData ODBC ドライバのインストールとAmazon Athena への接続設定

まずは、本記事右側のサイドバーからAmazonAthena ODBC Driver の無償トライアルをダウンロード・インストールしてください。30日間無償で、製品版の全機能が使用できます。

インストール後、ODBC DSN（データソース名）で接続プロパティを設定します。Microsoft ODBC Data Source Administrator を使用して、ODBC DSN を作成および設定できます。

Amazon Athena 接続プロパティの取得・設定方法

Amazon Athena リクエストの認証には、アカウントの管理のクレデンシャルか、IAM ユーザーのカスタムPermission を設定します。 AccessKey にAccess Key Id、SecretKey にはSecret Access Key を設定します。

AWS アカウントアドミニストレータとしてアクセスできる場合でも、AWS サービスへの接続にはIAM ユーザークレデンシャルを使用することが推奨されます。

IAM ユーザーのクレデンシャル取得は以下のとおり：

1. IAM コンソールにログイン。
2. Navigation ペインで「ユーザー」を選択。
3. ユーザーのアクセスキーを作成または管理するには、ユーザーを選択してから「セキュリティ認証情報」タブを選択。

AWS ルートアカウントのクレデンシャル取得は以下のとおり：

1. ルートアカウントの資格情報を使用してAWS 管理コンソールにサインイン。
2. アカウント名または番号を選択し、表示されたメニューで「My Security Credentials」を選択。
3. 「Continue to Security Credentials」をクリックし、「Access Keys」セクションを展開して、ルートアカウントのアクセスキーを管理または作成。

EC2 インスタンスからの認証

EC2 インスタンスからCData 製品を使用していて、そのインスタンスにIAM ロールが割り当てられている場合は、認証にIAM ロールを使用できます。 これを行うには、UseEC2Roles をtrue に設定しAccessKey とSecretKey を空のままにします。 CData 製品は自動的にIAM ロールの認証情報を取得し、それらを使って認証します。

AWS ロールとして認証

多くの場合、認証にはAWS ルートユーザーのダイレクトなセキュリティ認証情報ではなく、IAM ロールを使用することをお勧めします。 代わりにRoleARN を指定してAWS ロールを使用できます。これにより、CData 製品は指定されたロールの資格情報を取得しようと試みます。 （すでにEC2 インスタンスなどで接続されているのではなく）AWS に接続している場合は、役割を担うIAM ユーザーのAccessKeyと SecretKey を追加で指定する必要があります。AWS ルートユーザーのAccessKey およびSecretKey を指定する場合、 ロールは使用できません。

MFA での認証

多要素認証を必要とするユーザーおよびロールには、MFASerialNumber およびMFAToken 接続プロパティを指定してください。 これにより、CData 製品は一時的な認証資格情報を取得するために、リクエストでMFA 認証情報を送信します。一時的な認証情報の有効期間 （デフォルトは3600秒）は、TemporaryTokenDuration プロパティを介して制御できます。

Amazon Athena への接続

AccessKey とSecretKey プロパティに加え、Database、S3StagingDirectory、Region を設定します。Region をAmazon Athena データがホストされているリージョンに設定します。S3StagingDirectory をクエリの結果を格納したいS3内のフォルダに設定します。

接続にDatabase が設定されていない場合は、CData 製品はAmazon Athena に設定されているデフォルトデータベースに接続します。

Qlik Replicate にODBC データソースを追加

CData ODBC ドライバの設定が完了したら、Qlik Replicate を立ち上げてレプリケーション構成を進めていきましょう。Qlik Replicate ではタスクという単位でレプリケーション処理を構成していきますが、まずタスクで利用するデータソースとレプリケーション先のコネクション情報を登録する必要があるので、この設定を行います。

1. Qlik Replicate の管理画面に移動したら、 「Manage Endpoint Connections…」をクリックします。
2. その後表示される画面で、「＋New Endpoint Connection」をクリック。この画面からデータソースとレプリケーション先（ターゲット）のコネクションを構成していきます。
3. まずはデータソースとなるAmazon Athena へのコネクションを構成します。前述の通り、Amazon Athena への連携はCData ODBC ドライバを経由して行うため、「Role：Source」「Type：ODBC」でコネクションを構成します。
4. そして、事前に構成しておいたAmazon Athena のDSN を指定します。任意のName を指定したあと、Test Connection がパスできれば設定完了です。

MySQL Target 接続を追加

続いて、レプリケーション先となるMySQL へのコネクションも追加します。

1. 先程と同じように「＋New Endpoint Connection」をクリックします。
2. 「Role: Target」「Type: MySQL」を指定して、Server アドレスやUserName、Password などMySQL 接続に必要な接続情報をそれぞれ指定し、保存します。

Task の構成

コネクションの作成が完了したら、実際のレプリケーション処理であるTask の作成を進めていきましょう。

1. 「＋New Task」をクリックし、任意の名称でTask を作成します。Replication Profileは「Unidirectional：単方向」でTask Optionsは「Full Load」を指定します。
2. タスク作成後の画面で、データソースには先程作成したAmazon Athena のコネクションを、ターゲットにはMySQL のコネクションを、ドラッグドロップでそれぞれ指定します。

レプリケーション対象のテーブルを選択

データソースとターゲットを決めたら、レプリケーション対象のテーブルを指定しましょう。

1. 「Table Selection」をクリックします。
2. 「Search」をクリックして、対象となるテーブルを検索します。以下のようにAmazon Athena のテーブル一覧が表示されるので、任意のテーブルを選択していきます。
3. これで以下のように選択されればOK です。ちなみにデフォルトではテーブルの全レコード・全カラムをレプリケーションしますが、Global Rules から細かな条件や項目の設定がチューニング可能です。

作成したTask を実行

それでは作成したTask を実際に実行してみましょう。

1. 「Run」をクリックすることで、レプリケーションを開始できます。
2. レプリケーションが進むとMonitor 画面に遷移し、レプリケーション結果を確認できます。Completed が表示されればOKです。
3. 実際にMySQL のテーブルを確認してみると、以下のようにテーブルが自動生成され、データが正常に複製されていました。

おわりに

このようにCData ODBC ドライバを利用することで、各種クラウドサービスをQlik Replicate の接続先として利用できるようになります。 CData ではAmazon Athena 以外にも270種類以上のデータソース向けにODBC Driver を提供しています。30日の無償評価版が利用できますので、ぜひ自社で使っているクラウドサービスやNoSQL と合わせて活用してみてください。

日本のユーザー向けにCData Sync は、UI の日本語化、ドキュメントの日本語化、日本語でのテクニカルサポートを提供しています。