HadoopMapReduce实战手册
- 资料大王PDF
-
0 次阅读
-
0 次下载
-
2024-09-23 21:38:20
微信
赏
支付宝
文档简介:
步 骤4中选择的
目
录
封面
扉页
版权
内容提要
前言
作者介绍
审稿人介绍
第1章 搭建Hadoop并在集群中运行
1.1 简介
1.2 在你的机器上安装Hadoop
1.3
写WordCountMapReduce示例程序,打包并使用独立的
Hadoop运行它
1.4 给WordCount MapReduce程序增加combiner步骤
1.5 安装HDFS
1.6 使用HDFS监控UI
1.7 HDFS的基本命令行文件操作
1.8 在分布式集群环境中设置Hadoop
1.9 在分布式集群环境中运行WordCount程序
1.10 使用MapReduce监控UI
第2章 HDFS进阶
2.1 简介
2.2 HDFS基准测试
2.3 添加一个新的DataNode
2.4 DataNode下架
2.5 使用多个磁盘/卷以及限制HDFS的磁盘使用情况
2.6 设置HDFS块大小
2.7 设置文件冗余因子
2.8 使用HDFS的Java API
2.9 使用HDFS的C API(libhdfs)
2.10 挂载HDFS(Fuse-DFS)
2.11 在HDFS中合并文件
第3章 高级Hadoop MapReduce运维
3.1 简介
3.2 调优集群部署的Hadoop配置
3.3 运行基准测试来验证Hadoop的安装
3.4 复用Java虚拟机以提高性能
3.5 容错和推测执行
3.6 调试脚本——分析任务失败
3.7 设置失败百分比以及跳过不良记录
3.8 共享用户的Hadoop集群——使用公平调度器和其他调度器
3.9 Hadoop的安全性——整合使用Kerberos
3.10 使用Hadoop的工具接口
第4章 开发复杂的Hadoop MapReduce应用程序
4.1 简介
4.2 选择合适的Hadoop数据类型
4.3 实现自定义的Hadoop Writable数据类型
4.4 实现自定义Hadoop key类型
4.5 从mapper中输出不同值类型的数据
4.6 为输入数据格式选择合适的Hadoop InputFormat
4.7
添加新的输入数据格式的支持——实现自定义的Input
Format
4.8
格式化MapReduce计算的结果——使用Hadoop的
OutputFormat
4.9 Hadoop的中间(map到reduce)数据分区
4.10 将共享资源传播和分发到 MapReduce 作业的任务中——
Hadoop DistributedCache
4.11 在Hadoop上使用传统应用程序——Hadoop Streaming
4......
评论
发表评论