Spark大数据处理：技术、应用与性能优化

大数据技术丛书 Spark大数据处理：技术、应用与性能优化 高彦杰 著 ISBN：978-7-111-48386-1 本书纸版由机械工业出版社于2014年出版，电子版由华章分社（北京华 章图文信息有限公司，北京奥维博世图书发行有限公司）全球范围内制 作与发行。 版权所有，侵权必究 客服热线：+ 86-10-68995265 客服信箱：service@bbbvip.com 官方网址：www.hzmedia.com.cn 新浪微博 @研发书局 腾讯微博 @yanfabook 目录 前言 第1章 Spark简介 1.1 Spark是什么 1.2 Spark生态系统BDAS 1.3 Spark架构 1.4 Spark分布式架构与单机多核架构的异同 1.5 Spark的企业级应用 1.5.1 Spark在Amazon中的应用 1.5.2 Spark在Yahoo！的应用 1.5.3 Spark在西班牙电信的应用 1.5.4 Spark在淘宝的应用 1.6 本章小结 第2章 Spark集群的安装与部署 2.1 Spark的安装与部署 2.1.1 在Linux集群上安装与配置Spark 2.1.2 在Windows上安装与配置Spark 2.2 Spark集群初试 2.3 本章小结 第3章 Spark计算模型 3.1 Spark程序模型 3.2 弹性分布式数据集 3.2.1 RDD简介 3.2.2 RDD与分布式共享内存的异同 3.2.3 Spark的数据存储 3.3 Spark算子分类及功能 3.3.1 Value型Transformation算子 3.3.2 Key-Value型Transformation算子 3.3.3 Actions算子 3.4 本章小结 第4章 Spark工作机制详解 4.1 Spark应用执行机制 4.1.1 Spark执行机制总览 4.1.2 Spark应用的概念 4.1.3 应用提交与执行方式 4.2 Spark调度与任务分配模块 4.2.1 Spark应用程序之间的调度 4.2.2 Spark应用程序内Job的调度 4.2.3 Stage和TaskSetManager调度方式 4.2.4 Task调度 4.3 Spark I/O机制 4.3.1 序列化 4.3.2 压缩 4.3.3 Spark块管理 4.4 Spark通信模块 4.4.1 通信框架AKKA 4.4.2 Client、Master和Worker间的通信 4.5 容错机制 4.5.1 Lineage机制 4.5.2 Checkpoint机制 4.6 Shuffle机制 4.7......