Spark大数据处理:技术、应用与性能优化
- 资料大王PDF
-
0 次阅读
-
0 次下载
-
2024-08-21 22:28:59
微信
赏
支付宝
文档简介:
1.5 Spark的企业级应用
1.5.1 Spark在Amazon中的应用
1.5.2 Spark在Yahoo!的应用
1.5.3 Spark在西班牙电信的应用
1.5.4 Spark在淘宝的应用
1.6 本章小结
第2章 Spark集群的安装与部署
2.1 Spark的安装与部署
2.1.1 在Linux集群上安装与配置Spark
2.1.2 在Windows上安装与配置Spark
2.2 Spark集群初试
2.3 本章小结
第3章 Spark计算模型
3.1 Spark程序模型
3.2 弹性分布式数据集
3.2.1 RDD简介
3.2.2 RDD与分布式共享内存的异同
3.2.3 Spark的数据存储
3.3 Spark算子分类及功能
3.3.1 Value型Transformation算子
4.5 容错机制
4.5.1 Lineage机制
4.5.2 Checkpoint机制
4.6 Shuffle机制
4.7 本章小结
第5章 Spark开发环境配置及流程
5.1 Spark应用开发环境配置
5.1.1 使用Intellij开发Spark程序
5.1.2 使用Eclipse开发Spark程序
5.1.3 使用SBT构建Spark程序
5.1.4 使用Spark Shell开发运行Spark程序
5.2 远程调试Spark程序
5.3 Spark编译
5.4 配置Spark源码阅读环境
5.5 本章小结
第6章 Spark编程实战
6.1 WordCount
6.2 Top K
6.3 中位数
6.4 倒排索引
6.5 CountOnce
6.6 倾斜连接
6.7 股票趋势预测
6.8 本章小结
第7章 Benchmark使用详解
7.1 Benchmark简介
7.1.1 Intel Hibench与Berkeley BigDataBench
7.1.2 Hadoop GridMix
7.1.3 Bigbench、BigDataBenchmark与TPC-DS
7.1.4 其他Benchmark
7.2 Benchmark的组成
7.2.1 数据集
7.2.2 工作负载
7.2.3 度量指标
7.3 Benchmark的使用
7.3.1 使用Hibench
7.3.2 使用TPC-DS
7.3.3 使用BigDataBench
7.4 本章小结
第8章 BDAS简介
......
评论
发表评论