154
Hortonworks(HDP)開發者認證-考試大綱
本項目是 Hortonworks開發者認證官方文檔的中文翻譯版，Hortonworks致力於打造一個全新的大數據處理平台來滿足大數據處理和分析的各個使用場景，它組合了大數據平台使用的各個組件, 比如Hadoop、Hbase、Hive、Spark等等一些列的組件, 它安裝方便使用便捷, 而且已經在2000節點以上的節點上商用. 本次翻譯主要針對對Hortonworks感興趣和致力於從事大數據方法開發的人員提供有價值的中文資料，希望能夠對大家的工作和學習有所幫助。
由於我公司鼓勵大家考Hortonworks認證(嗬嗬,公司出費用)，於是今天簡單的看了下官方考試大綱，感覺還不錯，故翻譯了下供大家參考學習，本次翻譯並沒有咬文嚼字, 而是根據我個人的理解進行翻譯, 由於本人能力有限難免有些地方翻譯不到位，還希望大家諒解，同時也鼓勵大家去看官方文檔。
基於真才實學的認證
認證概述
Hortonworks重新設計了它的開發者認證程序, 為了創建一個通過在Hortonworks(HDP)集群上親自操作所獲取的專業知識的認證體係, 而不是回答多項選擇問題. HDP開發者認證考試(HDPCD)第一個比較新穎的地方是親自實踐的, 基於性能的考試, 它設計的目的麵向那些工作中經常使用像 Pig, Hive, Sqoop and Flume的開發者.
認證(考試)目的
開發者認證的目的是為了給組織和公司提供一種辨別是否是一個合格的大數據應用開發者, 這種認證實在開源的HDP平台對Pig, Hive, Sqoop and Flume組件對數據的存儲、運行和分析的應用.
考試描述
考試主要涉及到三個分類:
- 數據獲取
- 數據轉換
- 數據分析
考試是在HDP2.2版本上麵進行, 通過 Ambari 1.7.0來進行管理, HDP2.2包括 Pig 0.14.0, Hive 0.14.0, Sqoop 1.4.5, 和Flume 1.5.0. 每位考生都可以訪問HDP 2.2 集群並在集群上進行一些列任務操作.
考試目的
瀏覽完成下麵任務, 它包括一些指向文檔和資源的連接
怎麼注冊
在 www.examslocal.com 網站創建一個帳號. 注冊之後登陸, 選擇“Schedule an Exam”, 然後進入“Search Here”輸入“Hortonworks”進行搜索,然後選擇Hortonworks開發者認證考試.
考試卷購買之後一年之內有效.
時間
2小時
模擬考試
Hortonworks官方提供考生的模擬考試和認證考試的環境和任務是相似的 . 點擊 [Practice Exam] 下載安裝開始模擬考試.
考試及格情況說明
通過 (MQC)認證的考生需要通過開源的Hortonworks數據平台中的Pig、Hive、Sqoop和Flume對數據進行提取，轉換和分析
Prerequisites
想獲取HDPCD認證的考生需要完成考試大綱下麵的所有任務.
語言
考試語言是英文
Hortonworks大學
Hortonworks 大學是你的專業指導對於Hadoop培訓和認證. 考生可以通過公開課程和非公開課程是進行學習. 課程結合通過真實的Hadoop環境演示動手試驗來進行.
HDP開發者考試的目的
HDPCD考試的考試需要完成下麵每項操作:
| 類型 | 任務 | 源(s) |
| 數據獲取 | 通過Hadoop Shell把本地文件上傳到HDFS | https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html |
| 使用Hadoop Shell在HDFS上創建一個新的目錄 | https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html | |
| 從一個關係型數據庫中導入數據到HDFS | https://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html | |
| 導入關係型數據的查詢結果到HDFS | https://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html | |
| 從一個關係型數據庫中導入數據到一個新的或者已經存在的Hive表裏 | https://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html | |
| 從 HDFS裏麵插入和更新數據到關係型數據庫裏麵 | https://sqoop.apache.org/docs/1.4.5/SqoopUserGuide.html | |
| 給你一個Flume配置文件，啟動一個 Flume agent | https://flume.apache.org/FlumeUserGuide.html | |
| 給你一個配置好的 sink 和source, 配置一個 Flume 固定容量的內存 channel | https://flume.apache.org/FlumeUserGuide.html |
| 類別 | 任務 | 源(s) |
| 數據轉換 | 寫出並執行一個pig腳本 | https://pig.apache.org/docs/r0.14.0/start.html |
| 加載一個沒有schema信息數據到Pig | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 加載數據到Pig裏麵並關聯一個schema | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 從Hive表裏麵加載數據到Pig | https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore | |
| 通過Pig把加載的數據格式化 | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 轉換數據匹配一個給定的Hive schema | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 對 Pig 中數據進行分組 | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 使用Pig移除記錄裏麵關聯的空值 | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 把 Pig 中的數據保存到HDFS中指定目錄裏麵 | https://pig.apache.org/docs/r0.14.0/basic.html |
| 把 Pig中的數據保存到Hive表裏 | https://cwiki.apache.org/confluence/display/Hive/HCatalog+LoadStore | |
| 對Pig數據進行排序輸出 | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 把Pig中關聯重複數據移除 | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 對Pig MapReduce指定reduce任務數量 | https://pig.apache.org/docs/r0.14.0/perf.html | |
| 使用Pig進行關聯操作 | https://pig.apache.org/docs/r0.14.0/basic.html andhttps://pig.apache.org/docs/r0.14.0/basic.html | |
| 通過Pig join操作生成一個副本 | https://pig.apache.org/docs/r0.14.0/perf.html | |
| 運行一個Pig 任務通過 Tez | https://pig.apache.org/docs/r0.14.0/perf.html | |
| 在一個Pig 腳本內,通過注冊一個Jar來使用定義的函數 | https://pig.apache.org/docs/r0.14.0/basic.html andhttps://pig.apache.org/docs/r0.14.0/udf.html | |
| 在Pig 腳本內, 使用定義的函數定義一個別名 | https://pig.apache.org/docs/r0.14.0/basic.html | |
| 在一個Pig 腳本內, 執行一個用戶定義函數 | https://pig.apache.org/docs/r0.14.0/basic.html |
最後更新：2017-05-19 18:01:45