本記事では CData サポート担当からこんなことを聞かれたらどこを確認すべきか?という観点で、よく頂くお問合せ内容をご紹介します。
記事はこちら →CData ADO.NET Provider for HDFS は、ADO.NET 標準インターフェースへ統合し、PowerShell のような. NET アプリケーションからHDFS API へのデータ連携を可能にします。このプロバイダーは、HDFS の認証および相互作用を簡単にします。このチュートリアルでは、PowerShell から直接SQL クエリを実行するための、いくつかの一般的なADO.NET オブジェクトの使い方を説明します。
次の3つのステップに従って SELECT クエリ PowerShell からリアルタイムHDFS に実行:
プロバイダーのアセンブリをロード:
[Reflection.Assembly]::LoadFile("C:\Program Files\CData\CData ADO.NET Provider for HDFS\lib\System.Data.CData.HDFS.dll")
HDFS に接続:
In order to authenticate, set the following connection properties:
$constr = "Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;"
$conn= New-Object System.Data.CData.HDFS.HDFSConnection($constr)
$conn.Open()
HDFSDataAdapter のインスタンスを生成してSQL クエリを実行し、結果を出力:
$sql="SELECT FileId, ChildrenNum from Files"
$da= New-Object System.Data.CData.HDFS.HDFSDataAdapter($sql, $conn)
$dt= New-Object System.Data.DataTable
$da.Fill($dt)
$dt.Rows | foreach { Write-Host $_.fileid $_.childrennum }