Spark内核设计的艺术:架构设计与实现
- 资料大王PDF
-
0 次阅读
-
0 次下载
-
2024-10-26 20:15:16
微信
赏
支付宝
文档简介:
3.2.2 RPC客户端工厂TransportClientFactory
3.2.3 RPC服务端TransportServer
3.2.4 管道初始化
3.2.5 TransportChannelHandler详解
3.2.6 服务端RpcHandler详解
3.2.7 服务端引导程序TransportServerBootstrap
3.2.8 客户端TransportClient详解
3.3 事件总线
3.3.1 ListenerBus的继承体系
3.3.2 SparkListenerBus详解
3.3.3 LiveListenerBus详解
3.4 度量系统
3.4.1 Source继承体系
3.4.2 Sink继承体系
3.5 小结
第4章 SparkContext的初始化
4.1 SparkContext概述
4.2 创建Spark环境
4.3 SparkUI的实现
4.3.1 SparkUI概述
4.3.2 WebUI框架体系
4.3.3 创建SparkUI
4.4 创建心跳接收器
4.5 创建和启动调度系统
4.6 初始化块管理器BlockManager
4.7 启动度量系统
4.8 创建事件日志监听器
4.9 创建和启动ExecutorAllocationManager
4.10 ContextCleaner的创建与启动
4.10.1 创建ContextCleaner
4.10.2 启动ContextCleaner
4.11 额外的SparkListener与启动事件总线
4.12 Spark环境更新
4.13 SparkContext初始化的收尾
4.14 SparkContext提供的常用方法
4.15 SparkContext的伴生对象
4.16 小结
9.7.5 运行Driver
9.7.6 运行Executor
9.7.7 处理Executor的状态变化
9.8 StandaloneAppClient实现
9.8.1 ClientEndpoint的实现分析
9.8.2 StandaloneAppClient的实现分析
9.9 StandaloneSchedulerBackend的实现分析
9.9.1 StandaloneSchedulerBackend的属性
9.9.2 DriverEndpoint的实现分析
9.9.3 StandaloneSchedulerBackend的启动
9.9.4 StandaloneSchedulerBackend的停止
9.9.5 StandaloneSchedulerBackend与资源分配
9.10 CoarseGrainedExecutorBackend详解
9.10.1 Coar......
评论
发表评论