科学计算与企业级应用的并行优化

序 到这里，终于可以松一口气了，一个持续多年的工作总算可以告一段落了。本系列起源于我2012年想写的《并行乱弹》一 书，乱弹是乱弹琴的意思。按我的本意，并不想把它写成一本非常严谨的著作，当时更无意出版，因此并不是非常注意全书逻辑 的严密性，虽然经过我和编辑的多次修改，但想必问题依旧难以避免，在此诚恳地请求读者谅解。 本系列的3本书相互之间有联系，也有其独立性：《并行算法设计与性能优化》介绍常见的串行代码优化方法和并行算法的 设计；《并行编程方法与优化实践》介绍常见的向量化和并行编程环境及一些实例；《科学计算与企业级应用的并行优化》则介 绍领域相关的算法与应用的性能优化。 如果说要写一本简短的武侠小说来描写主角是如何学习这3本“秘笈”的话，我想故事是这样的：在2015年，主角是某位内 向宅男码农hpc，因为程序速度太慢天天被产品经理骂，受项目经理白眼，每天工作到晚上10点，遭到家人埋怨。在某个月黑风 高的晚上，某条街道上那位江湖人称“风辰”的“HPC帮”护法长老收hpc为不记名弟子，并传授给hpc《并行算法设计与性能 优化》《并行编程方法与优化实践》及《科学计算与企业级应用的并行优化》3本“秘笈”，“风辰”临走时收了传功费用1024 万元。hpc如获至宝，休假一月潜心修炼。一月后出关，容光焕发，程序速度大幅度提升，产品经理天天请吃大餐，项目经理忙 着加项目奖金。此后，hpc每天下午5点即下班回家，修身养性，陪家人一起吃饭、购物。 愿这3本书能够真正成为改变读者生活的良师益友！ 风辰 2015年5月17日于深圳 前言 IT行业急需这本书 和本系列的前两本书一样，在解释为什么笔者认为软件工程师需要这本书之前，笔者先来介绍并行、并发和代码性能优化这 3个概念，因为理解这3个概念是阅读本系列3本书的基础。 ·并行对应的英文单词是parallelism，是指在具有多个处理单元的系统上，通过将计算或数据划分为多个部分，将各个部分 分配到不同的处理单元上，各处理单元相互协作，同时运行，以达到加快求解速度或者提高求解问题规模的目的。 ·并发对应的英文单词是concurrency，是指在一个处理单元上运行多个应用，各应用分时占用处理单元，是一种微观上串 行、宏观上并行的模式，有时也称其为时间上串行、空间上并行。 ·代码性能优化是指通过调整源代码，使得其生成的机器指令能够更高效地执行，通常高效是指执行时间更少、使用的存储 器更少或能够计算更大规模的问题。 从大的方面来说，并行和并发都是代码性能优化的一种方式，但是今天并行和并发已经是如此重要，以至于需要“开宗立 派”。为了明晰并行、并发和代码性能优化的边界，在本书中，代码性能优化特指除了并行和并发以......