沙盒资源网 大数据云计算 小象学院Hadoop高级进阶视频教程Hadoop大数据处理精华视频教程


小象学院Hadoop高级进阶视频教程Hadoop大数据处理精华视频教程

2019-08-22 1131
咿呀决定于法国
咿呀决定于法国 发帖专员   
资源介绍

小象学院Hadoop高级进阶视频教程Hadoop大数据处理精华视频教程
课程名称及简介

《Hadoop进阶》:本课程面向Hadoop高阶学习者,具有一定Hadoop系统使用经验,结合大规模使用Hadoop的实践经验,了解和掌握HDFS构建、Hadoop工具使用、调试优化,问题分析,通过分析示例掌握大量实际使用的经验,很多实战内容的示例是很少在网络上找到文档支持。

时间:共六周
培训方式:视频学习 + 在线答疑 + 每周作业 + 结业考试

课程大纲:

授课对象:Hadoop高级、具有一定Hadoop系统使用经验
适用Hadoop版本:兼顾所有Hadoop版本,包括Apache、Hortonworks和CDH发行版

第一部分. MapReduce
Mapreduce工作流程及基本架构回顾
运维相关
参数调优
benchmark
reuse jvm
错误感知及speculative执行
task日志分析
可容忍错误百分比设置及跳过坏记录
选择fairescheduler等其他调度器优化性能
开发相关

数据类型选择
实现自定义wrITable数据类型、自定义key
一个mapper中输出不同类型value
InputFormat/OutputFormat,原理及定制
Mapper/Reducer/Combiner,Combiner的使用及其对mapreduce框架优化的作用
Partitioner定制
排序策略GroupingComparator/SortComparator
任务调度原理及修改方法(案例,map/reduce共享slot,按标识精准map/reduce调度)
Streaming
DistributedCache
mapreduce任务间依赖
counter
JobChild参数设置
性能优化

第二部分. hdfs
HDFS API
fuse(C API)
压缩
HDFS benchmark
Datanode添加及删除
多盘支持,磁盘错误感知
hdfs raid
HDFS block size设置相关问题
文件备份数设置
HDFS中合并文件
第三部分. Hadoop工具
dfsadmin/mradmin/balancer/distcp/fsck/fs/job
监控及报警
hadoop配置管理
第四部分. Hadoop调试
Lo
本地模式调试map/reduce任务
远程调试
第五部分. 问题分析
Java GC介绍及java进程常用的分析工具jstat、jhat、jmap
top/iostat/netstat/lsof等
Jstack/kill -3
Strace
nload/tcpdump

第六部分.分析示例
MapReduce简单分析
用MapReduce实现Group-by
用MapReduce实现倒排索引
MpReduce实现直方图
MapReduce实现Join



标签:

问题反馈


百度网盘可以用手机平板电脑在线播放,也可以下载之后播放

本帖资源评论
医疗大数据与基因大健康-医疗大数据挖掘!让数据挖掘为现代医疗服务 美女大数据讲师
黑马-2020.2大数据开发就业课
最新hadoop大数据零基础入门高薪就业视频教程
项目架构实战,SSM到SpringBoot项目完整演练
徐培成大数据高薪就业视频教程
[Spark/Scala] Spark大数据编程零基础学习最佳实践 大数据超越课程Spark大数据编程 大讲台Spark
[大数据] 大数据高端课程 炼数成金供应链物流—永恒的管理艺术 炼数成金供应链/物流管理高端
数据分析工具之spss/amos精品课程零基础到精通(全套)
Kuberntes权威指南 PDF电子书
企业级Spark实战课程 大数据集群优化分析高级课程下载
2017算法与数据结构C++精解-慕课网
2017年大数据平台核心技术
[Hadoop] 云帆大数据 8天70集 实战开发视频 Hadoop从入门到上手企业开发
[Spark/Scala] 基于Flume+Kafka+Spark Streaming打造实时流处理项目实战课程 企业大数据流处理平台实战教程
Spark2全方位深入分析(从源码到项目实践)
左神算法初级+进阶+算法高频题目精讲+BAT级别的牛客网全套项目实战 左神三期完整版
国嵌数据结构深度实战专题班 两期完整版 数据结构深入学习 深度实战专题视频
Spark原理精讲与推荐系统实践案例
Citrix XenDesktop虚拟化入门视频
最有趣的理论+最有用的算法轻松学习数据挖掘
没有账号? 注册