神经网络与深度学习

目錄 1. 引言 2. 第一章 使用神经网络识别手写数字 3. 第二章 反向传播算法如何工作的？ 4. 第三章 改进神经网络的学习方法（上） 5. 第三章 改进神经网络的学习方法（下） 6. 第五章 深度神经网络为何很难训练 7. 第六章 深度学习 神经网络与深度学习 神经网络和深度学习是一本免费的在线书。本书会教会你： 神经网络，一种美妙的受生物学启发的编程范式，可以让计算机从 观测数据中进行学习 深度学习，一个强有力的用于神经网络学习的众多技术的集合 神经网络和深度学习目前给出了在图像识别、语音识别和自然语言处理 领域中很多问题的最好解决方案。本书将会教你在神经网络和深度学习 背后的众多核心概念。 想了解本书选择的观点的更多细节，请看 这里 。或者直接跳到 第一章 开始你们的旅程。 译者的话： 本书是 Michael Nielsen 的 Neural Networks and Deep Learning 的中译 本。目前已经完成第二章、第三章、第五章和第六章的内容。后续会进 行剩下章节的翻译。如果想要提供意见或者建议，给出翻译的笔误，都 可以直接通过 xhzhu.nju@gmail.com 联系到我。 第一章 使用神经网络识别手写数字 人类视觉系统是世界上众多奇迹之一。看看下面的手写数字序列： 大多数人毫不费力就能够认出这些数字为 504192. 这么容易反而让人觉 着迷惑了。在人类的每个脑半球中，有着一个初级视觉皮层，常称为 V1，包含 1 亿 4 千万个神经元及数百亿条神经元间的连接。但是人类 视觉不是就只有 V1，还包括整个视觉皮层——V2、V3、V4 和 V5—— 他们逐步地进行更加复杂的图像处理。人类的头脑就是一台超级计算 机，通过数十亿年的进化不断地演变，最终能够极好地适应理解视觉世 界的任务。识别手写数字也不是一件简单的事。尽管人类在理解我们眼 睛展示出来的信息上非常擅长，但几乎所有的过程都是无意识地。所 以，我们通常并不能体会自身视觉系统解决问题的困难。 如果你尝试写出计算机程序来识别诸如上面的数字，就会明显感受到视 觉模式识别的困难。看起来人类一下子就能完成的任务变得特别困难。 关于我们识别形状——“9 顶上有一个圈，右下方则是一条竖线”这样的 简单直觉——实际上算法上就很难轻易表达出来了。而在你试着让这些 识别规则越发精准时，就会很快陷入各种混乱的异常或者特殊情形的困 境中。看起来毫无希望。 神经网络以另一种方式看待这个问题。其主要思想是获取大量的手写数 字，常称作 训练样本 ， 然后开发出一个可以从这些训练样本中进行学习的系统。换言之，神经 网络使用样本来自动推断出识别手写数字的规则。......