Powershell からの HDFS データ連携タスクを自動化

詳細情報をご希望ですか？

無償トライアル:

ダウンロードへ

製品の詳細情報へ:

HDFS ADO.NET Provider

HDFS データに連携する.NET アプリケーションを素早く、簡単に開発できる便利なドライバー。

記事の内容

関連記事


PowerShell から HDFS に簡単に接続する方法をお探しですか？ CData ADO.NET Provider for HDFS は、PowerShell スクリプトの優位性を使い、シンプルで簡単に使えるADO.NET インターフェース を提供します。PowerShell スクリプトで、ADO.NET オブジェクトを使って簡単にHDFS に接続して、同期、自動化、ダウンロードなどが可能！



CData ADO.NET Provider for HDFS は、ADO.NET 標準インターフェースへ統合し、PowerShell のような. NET アプリケーションからHDFS API へのデータ連携を可能にします。このプロバイダーは、HDFS の認証および相互作用を簡単にします。このチュートリアルでは、PowerShell から直接SQL クエリを実行するための、いくつかの一般的なADO.NET オブジェクトの使い方を説明します。

CRUD コマンドの実行

次の3つのステップに従って SELECT クエリ PowerShell からリアルタイムHDFS に実行：

  1. プロバイダーのアセンブリをロード：

    [Reflection.Assembly]::LoadFile("C:\Program Files\CData\CData ADO.NET Provider for HDFS\lib\System.Data.CData.HDFS.dll")

  2. HDFS に接続：

    In order to authenticate, set the following connection properties:

    • Host: Set this value to the host of your HDFS installation.
    • Port: Set this value to the port of your HDFS installation. Default port: 50070

    $constr = "Host=sandbox-hdp.hortonworks.com;Port=50070;Path=/user/root;User=root;" $conn= New-Object System.Data.CData.HDFS.HDFSConnection($constr) $conn.Open()

  3. HDFSDataAdapter のインスタンスを生成してSQL クエリを実行し、結果を出力：

    $sql="SELECT FileId, ChildrenNum from Files" $da= New-Object System.Data.CData.HDFS.HDFSDataAdapter($sql, $conn) $dt= New-Object System.Data.DataTable $da.Fill($dt) $dt.Rows | foreach { Write-Host $_.fileid $_.childrennum }