思科认证体系
华为认证体系
甲骨文认证体系
红帽认证体系
Vmware认证体系
Hadoop认证体系
ZStack云计算认证体系
安全
达梦认证体系
MySQL认证体系
CDA数据分析师认证
首页 > 认证课程体系 > 管理员 > Hadoop管理员认证
管理员
管理员

了解认证

通过参加Cloudera 的管理员培训和认证可以将您的知识提升到一个新的水平。提供的为期四天的管理员培训课程可以让培训学员全面了解如何使用 Cloudera Manager 操作和维护 Hadoop 集群所需的所有步骤。从安装和配置到负载平衡和性能调优,此培训课程是 Cloudera 管理员解决面临的现实挑战作出的最好准备。获得 CCA 管理员认证的管理员已经证明了其在配置、部署、维护和保护 Apache Hadoop 集群方面具有的技术知识。

建议掌握的知识

    (1)Cloudera Manager使您可以更轻松地管理集群的功能,例如汇总日志记录、配置管理、资源管理、报表、警报和服务管理

    (2)配置和部署提供关键Hadoop相关服务的大规模生产集群,包括YARN、HDFS、Impala、Hive、Spark、Kudu和Kafka

    (3)确定适用于您的集群的正确硬件和基础架构

    (4)适当的集群配置和部署以便与与数据中心集成

    (5)在HDFS、Kudu和云对象存储(例如Amazon S3)中摄取、存储和访问数据

    (6)如何使用Kafka和Flume将基于文件的流数据加载到集群中

    (7)配置自动资源管理以确保集群的多个用户满足服务级别协议

    (8)准备、调整和维护生产集群的最佳实践

    (9)故障排除、诊断和解决集群问题

面向对象

该培训课程最适合具有基本Linux 经验的系统管理员和 IT 经理

考试科目

考试代码

认证考试

CCA131

CCAH Administrator Hadoop

管理员认证


考试内容

能够理解Cloudera Manager、CDH 以及相关生态系统项目的安装过程。

设置本地CDH 版本库

为Hadoop 安装执行操作系统层面的配置

安装Cloudera Manager 服务器和代理

使用Cloudera Manager 安装 CDH

将新的节点添加到现有集群中

使用Cloudera Manager 添加服务

配置

执行有效管理Hadoop 集群所需的基本和高级配置。

使用Cloudera Manager 配置服务

创建HDFS 用户的主目录

配置NameNode HA

配置ResourceManager HA

为Hiveserver2/Impala 配置代理

管理

维护和修改集群以支持企业中的日常运营。

重新平衡集群

设置过量磁盘填满的警报

定义并安装机架拓扑脚本

在集群中安装新类型的I/O压缩库

根据用户反馈修改YARN资源分配

服役和退役节点

安全

启用相关服务并配置集群以满足安全策略定义的目标;掌握基本安全实践的相关知识。

配置HDFS ACL

安装和配置Sentry

配置Hue 用户授权和认证

启用/配置日志和查询编辑

在HDFS 中创建加密区域

Test

对集群运营指标进行基准测试,测试系统配置以确保运营和效率

通过HTTPFS 执行文件系统命令

在集群内/集群之间高效地复制数据

创建/恢复 HDFS 目录的快照

获取/设置文件或目录结构的访问控制列表(ACL)

对集群进行基准测试(I/O、CPU、网络)

疑难解答

证明查找问题根本原因、优化低效执行和解决资源争用情况的能力。

解决Cloudera Manager 中的错误/警告

解决集群操作中的性能问题/错误

确定应用程序失效的原因

配置Fair Scheduler以解决应用程序延迟

考题格式

考题的数量:在预先配置好的Cloudera Enterprise集群上的8–12个基于性能的(实际操作)任务。

考试时长:120分钟

合格分数:70%

语言:英语

每一个CCA问题都要求考生解决一个特定的场景。其中一些任务需要通过Cloudera Manager进行配置和服务变更,而其他任务则需要具备命令行Hadoop实用程序的相关知识以及掌握Linux环境的基本能力。

认证有效期

CCA认证的有效期为两年。CCP认证的有效期为三年。

课程大纲

课程日期

课程章节

课程内容

第一天

Apache Hadoop 介绍

 

Hadoop创建动机
基本概念 
• Hadoop核心部件

Hadoop 机群安装

机群管理方案
Cloudera Manager特性
Cloudera Manager 安装
Hadoop(CDH)安装

Hadoop 分布式文件系统 (HDFS)

HDFS特性
读写文件
NameNode内存考虑
HDFS安全简介

• HDFS Web UI

• 使用 HDFS Shell

YARN 上的 MapReduce 和 Spark

•计算平台在 Hadoop 里扮演的角色
•YARN:机群资源管理器

• MapReduce 概念

• Apache Spark 概念

• Yarn 上的计算平台

• 通过 Web UI 及 Shell 观察 YARN 应用

• YARN 应用运行日志

Hadoop 配置及服务运行日志

• Cloudera Manager 配置管理机制

• 定位配置参数及进行配置变更

• 管理角色实例及添加服务

• 配置 HDFS 服务

• 配置 Hadoop 服务运行日志

• 配置 YARN 服务

HDFS 数据导入

• 使用 Flume 从外部数据源实时导入数据

• 使用 Sqoop 从关系数据库导入数据

• REST 接口

• 导入数据的最佳实践

Hadoop 机群规划

• 规划考虑因素

• 硬件选择

• 虚拟化选项 *

• 网络因素

• 节点配置

Hive,Impala 及 Pig 安装及配置

Hive
Impala
Pig

第五

Hadoop 客户端及 Hue

• 什么是 Hadoop 客户端

• 安装及配置 Hadoop 客户端

• 安装及配置 Hue

• 使用 Hue 进行身份验证及授权

机群高级配置

• 高级配置参数

• Hadoop 端口配置

• HDFS 机柜感知配置

• HDFS 高可靠性配置

Hadoop安全

• Hadoop 安全的重要性

• Hadoop 安全性概念

• Kerberos 简介

• 使用 Kerberos 保护 Hadoop 机群

• 其他安全概念

资源管理

• 使用静态服务池配置 Linux cgroup

• 公平调度器

• 配置动态资源池

• YARN 内存及 CPU 设置

• Impala 查询调度

机群维护

• 检查 HDFS 状态

• 机群间复制数据

• 添加/移除机群节点

• 机群数据负载平衡

• 目录快照

• 机群升级

机群监控及排错

• Cloudera Manager 监控特性

• 监控 Hadoop 机群

• Hadoop 机群排错

• 常见配置不当问题