製品をチェック

SingleStore Driver の30日間無償トライアルをダウンロード

30日間の無償トライアルへ

製品の詳細

SingleStore JDBC Driver

お困りの点はございませんか？

類似の事例やソリューションを探す

データ連携のスペシャリストにご相談ください

SingleStore 連携について相談する

AWS Glue ジョブからSingleStore のデータにJDBC 経由で接続

Amazon S3 でホストされているCData JDBC ドライバーを使用してAWS Glue ジョブからSingleStore にデータ連携。

加藤龍彦
デジタルマーケティング
最終更新日：2023-09-07

この記事で実現できるSingleStore 連携のシナリオ

CData

こんにちは！ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

AWS Glue はAmazon のETL サービスであり、簡単にデータプレパレーションを実行してストレージおよび分析用に読み込むことができます。AWS Glue と一緒にPySpark モジュールを使用すると、JDBC 接続経由でデータを処理するジョブを作成し、そのデータをAWS データストアに直接読み込むことができます。ここでは、CData JDBC Driver for SingleStore をAmazon S3 バケットにアップロードし、SingleStore からデータを抽出してCSV ファイルとしてS3 に保存するためのAWS Glue ジョブを作成・実行する方法について説明します。

CData JDBC Driver for SingleStore をAmazon S3 バケットにアップロード

CData JDBC Driver for SingleStore をAWS Glue から使用するには、ドライバーの.jar ファイル（および必要なライセンスファイル）をAmazon S3 のバケットに配置する必要があります。

Amazon S3 コンソールを開きます。
バケットを選択、もしくは作成します。
［アップロード］をクリックします。
JDBC Driver の.jar ファイル(cdata.jdbc.singlestore.jar) をインストールディレクトリのlib フォルダから選択してアップロードします。

Amazon Glue Job を設定

［分析］->［AWS Glue］をクリックします。
AWS Glue コンソールで、［ETL］->［ジョブ］をクリックします。
［ジョブの追加］をクリックして新しいGlue ジョブを作成します。
ジョブのプロパティを設定します:
- 名前: SingleStoreGlueJob など任意のジョブ名
- IAM ロール: AWSGlueServiceRole もしくは AmazonS3FullAccessSelect の権限があるIAM ロールを設定（JDBC Driver がAmazon S3 バケットにあるため）。
- Type: ［Spark］を選択。
- Glue version: ドロップダウンからバージョンを選択。
- このジョブ実行: ［ユーザーが作成する新しいスクリプト］を選択。
  スクリプトプロパティの設定:
- ETL 言語: ［Python］を選択
- セキュリティ設定、スクリプトライブラリおよびジョブパラメータを展開。依存JARS パスは、JDBC の.jar ファイルをアップロードしたS3 バケットに設定。.jar ファイル名 s3://mybucket/cdata.jdbc.singlestore.jar も含めます。
［次へ］をクリックすると、ほかのAWS エンドポイントへの接続オプション追加ができます。Redshift、MySQL などに接続する際にはここで接続を作成できます。
［ジョブの保存とスクリプトの編集］をクリックします。
開いたエディタで、Python スクリプトを記述します。サンプルは以下です。

サンプルGlue スクリプト

CData JDBC driver でSingleStore に接続するには、JDBC URL を作成します。さらにライセンスとしてJDBC URL にRTK プロパティを設定する必要があります。RTK は通常のライセンスと異なりますので、CData まで直接ご連絡をください。

データに接続するには、次の接続プロパティが必要です。

Server：SingleStore データベースをホスティングしているサーバーのホスト名またはIP アドレス。
Port：SingleStore データベースをホスティングしているサーバーのポート。

また、オプションで以下を設定することもできます。

SingleStore：SingleStore Server に接続する場合のデフォルトデータベース。設定されていない場合、すべてのデータベースのテーブルが返されます。

標準認証

標準認証で認証するには、次を設定します。

User：SingleStore サーバーに認証する際に使われるユーザー。
Password：SingleStore サーバーに認証する際に使われるパスワード。

統合セキュリティを使用した接続

標準のユーザー名とパスワードを提供する代わりに、Windows 認証を介して信頼されたされたユーザーをサーバーに認証できます。

SSL 認証

SSL 認証を活用してセキュアなセッションを介してSingleStore データに接続できます。次の接続プロパティを設定し、データに接続します。

SSLClientCert：クライアント証明書のための証明書ストア名に設定。クライアントとサーバーの両方のマシンでトラストストアとキーストアが保持される2-way SSL の場合に使用されます。
SSLClientCertPassword：クライアント証明書ストアがパスワードで保護されている場合、この値をストアのパスワードに設定します。
SSLClientCertSubject：TLS/SSL クライアント証明書のサブジェクト。ストア内の証明書を検索するために使用されます。
SSLClientCertType：クライアントストアの証明書タイプ。
SSLServerCert：サーバーが受け入れ可能な証明書。

SSH 認証

SSH を使用して、セキュアにリモートマシンにログインできます。SingleStore データにSSH 経由でアクセスするには、次の接続プロパティを設定します。

SSHClientCert：クライアント証明書のための証明書ストア名に設定。
SSHClientCertPassword：クライアント証明書ストアがパスワードで保護されている場合、この値をストアのパスワードに設定します。
SSHClientCertSubject：TLS/SSL クライアント証明書のサブジェクト。ストア内の証明書を検索するために使用されます。
SSHClientCertType：クライアントストアの証明書タイプ。
SSHPassword：SSH サーバーに認証するためのパスワード。
SSHPort：SSH 操作に使用するポート。
SSHServer：認証しようとしているSSH 認証サーバー。
SSHServerFingerPrint：接続先のホストの検証に使用するSSH サーバーのフィンガープリント。
SSHUser：SSH サーバーに認証するためのユーザー名。

ビルトイン接続文字列デザイナー

JDBC URL の作成をサポートするビルトインの接続文字列デザイナーがあります。ドライバーの.jar ファイルをダブルクリックするか、コマンドラインで.jar ファイルを実行するとデザイナーが開きます。


java -jar cdata.jdbc.singlestore.jar

必要項目を入力すると、デザインs－下部に接続文字列が生成されますのでクリップボードにコピーして使います。

Using the built-in connection string designer to generate a JDBC URL (Salesforce is shown.)

CData JDBC driver をPySpark で使用して、AWS Glue モジュールでSingleStore のデータを取得して、S3 にCSV 形式で保存するシンプルなスクリプト例は以下です。


import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.dynamicframe import DynamicFrame
from awsglue.job import Job

args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sparkContext = SparkContext()
glueContext = GlueContext(sparkContext)
sparkSession = glueContext.spark_session

##Use the CData JDBC driver to read SingleStore データ from the Orders table into a DataFrame
##Note the populated JDBC URL and driver class name
source_df = sparkSession.read.format("jdbc").option("url","jdbc:singlestore:RTK=5246...;User=myUser;Password=myPassword;Database=NorthWind;Server=myServer;Port=3306;").option("dbtable","Orders").option("driver","cdata.jdbc.singlestore.SingleStoreDriver").load()

glueJob = Job(glueContext)
glueJob.init(args['JOB_NAME'], args)

##Convert DataFrames to AWS Glue's DynamicFrames Object
dynamic_dframe = DynamicFrame.fromDF(source_df, glueContext, "dynamic_df")

##Write the DynamicFrame as a file in CSV format to a folder in an S3 bucket.
##It is possible to write to any Amazon data store (SQL Server, Redshift, etc) by using any previously defined connections.
retDatasink4 = glueContext.write_dynamic_frame.from_options(frame = dynamic_dframe, connection_type = "s3", connection_options = {"path": "s3://mybucket/outfiles"}, format = "csv", transformation_ctx = "datasink4")

glueJob.commit()

Glueジョブを実行する

スクリプト記述後、Glue ジョブを実行します。実行した取得/ロードのジョブが完了するとAWS Glue コンソールのジョブページでステータスが確認できます。成功するとS3 バケットにSingleStore のデータのCSV ファイルが生成されています。

このようにCData JDBC Driver for SingleStore をAWS Glue で使用することで、SingleStore のデータをAWS Glue で自在に扱うことができます。Glue の外部データへの接続性を拡張するJDBC Driver を是非お試しください。

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。

無償トライアルへ

お問い合わせ

ソリューション

サポート

ブログへ →

ナレッジベース