Apache Airflow でAdobe Analytics のデータに連携したワークフローを作る

Adobe Analytics はOAuth 認証標準を利用しています。 OAuth またはサービスアカウントで認証できます。

ユーザーアカウント（OAuth）

すべてのユーザーアカウントフローでAuthScheme をOAuth に設定する必要があります。OAuth 経由のAdobe 認証では、2週間ごとにリフレッシュトークンを更新する必要があります。詳しい認証方法については、ヘルプドキュメントの「Adobe Analytics への認証」セクションを参照してください。

サービスアカウント

サービスアカウントにはサイレント認証があり、ブラウザでのユーザー認証は必要ありません。このフローでは、アプリケーションを作成する必要があります。アプリケーションの作成および認可については、ドキュメントの「カスタムOAuth アプリの作成」を参照してください。これでサービスアカウントにアクセス権があるAdobe Analytics データに接続できます。

サービスアカウントを使用したServer-to-Server OAuthで認証するには、AuthScheme をOAuthClient に設定します。接続するには次のプロパティを設定します。

• InitiateOAuth：GETANDREFRESH に設定。
• OAuthClientId：アプリケーション設定のクライアントId に設定。
• OAuthClientSecret：アプリケーション設定のクライアントシークレットに設定。

接続すると、本製品 はサービスアカウントでのOAuth フローを完了します。

1. クライアントクレデンシャルOAuth フローで指定されたOAuthClientId およびOAuthClientSecret を使用して、アクセストークンを取得します。
2. OAuthSettingsLocation にOAuth 値を保存し、接続間で永続化されるようにします。
3. トークンが期限切れになった際に、新しいアクセストークンを要求します。

クラスタ環境またはクラウドでJDBC ドライバーをホストするには、ライセンス（フルまたはトライアル）およびランタイムキー（RTK）が必要です。本ライセンス（またはトライアル）の取得については、こちらからお問い合わせください。

以下は、JDBC 接続で要求される必須プロパティです。

Airflow でJDBC 接続を確立する

1. Apache Airflow インスタンスにログインします。
2. Airflow インスタンスのナビゲーションバーで、「Admin」にカーソルを合わせ、「Connections」をクリックします。
3. 次の画面で「+」マークをクリックして新しい接続を作成します。
4. Add Connection フォームで、必要な接続プロパティを入力します。
   • Connection Id：接続の名前：adobeanalytics_jdbc
   • Connection Type：JDBC Connection
   • Connection URL：上記のJDBC 接続URL：jdbc:adobeanalytics:RTK=5246...;GlobalCompanyId=myGlobalCompanyId; RSID=myRSID; OAuthClientId=myOauthClientId; OauthClientSecret=myOAuthClientSecret; CallbackURL=myCallbackURL;
   • Driver Class：cdata.jdbc.adobeanalytics.AdobeAnalyticsDriver
   • Driver Path：PATH/TO/cdata.jdbc.adobeanalytics.jar
5. フォームの下にある「Test」ボタンをクリックし、新規の接続をテストします。
6. 新規接続を保存すると、新しく表示される画面に、接続リストに新しい行が追加されたことを示す緑のバナーが表示されます。

DAG を作成する

Airflow におけるDAG は、ワークフローのプロセスを格納するエンティティであり、DAG にトリガーを設定することでワークフローを実行することができます。 今回のワークフローでは、シンプルにAdobe Analytics のデータに対してSQL クエリを実行し、結果をCSV ファイルに格納します。

1. はじめに、Home ディレクトリにある「airflow」フォルダに移動します。その中に新しいディレクトリを作成し、タイトルを「dags」とします。 ここに、UI に表示されるAirflow のDAG を構築するPython ファイルを格納します。
2. 次に新しいPython ファイルを作成し、タイトルをadobe analytics_hook.py にします。この新規ファイル内に、次のコードを挿入します。

   		import time
   		from datetime import datetime
   		from airflow.decorators import dag, task
   		from airflow.providers.jdbc.hooks.jdbc import JdbcHook
   		import pandas as pd
   
   		# Dag の宣言
   		@dag(dag_id="adobe analytics_hook", schedule_interval="0 10 * * *", start_date=datetime(2022,2,15), catchup=False, tags=['load_csv'])
   
   		# Dag となる関数を定義（取得するテーブルは必要に応じて変更してください）
   		def extract_and_load():
   		# Define tasks
   			@task()
   			def jdbc_extract():
   				try:
   					hook = JdbcHook(jdbc_conn_id="jdbc")
   					sql = """ select * from Account """
   					df = hook.get_pandas_df(sql)
   					df.to_csv("/{some_file_path}/{name_of_csv}.csv",header=False, index=False, quoting=1)
   					# print(df.head())
   					print(df)
   					tbl_dict = df.to_dict('dict')
   					return tbl_dict
   				except Exception as e:
   					print("Data extract error: " + str(e))
   
   			jdbc_extract()
   
   		sf_extract_and_load = extract_and_load()
   	

3. このファイルを保存し、Airflow インスタンスをリフレッシュします。DAG リストの中に、「adobe analytics_hook」というタイトルの新しいDAG が表示されるはずです。
4. このDAG をクリックし、新しく表示される画面で一時停止解除スイッチをクリックして青色にし、トリガー（＝play）ボタンをクリックしてDAG を実行します。この操作で、adobe analytics_hook.py ファイルのSQL クエリを実行し、結果をCSV としてコード内で指定したファイルパスにエクスポートします。
5. 新規のDAG を実行後、Downloads フォルダ（またはPython スクリプト内で選択したフォルダ）を確認し、CSV ファイルが作成されていることを確認します（本ワークフローの場合はaccount.csv です）。
6. CSV ファイルを開くと、Apache Airflow によってAdobe Analytics のデータがCSV 形式で利用できるようになったことが確認できます。

詳細と無償トライアル