第8章 意外的指点 (第3/3页)
底那个夺冠的AlexNet不也才8层的深度吗。”
“我也只是刚刚有一些想法。”孟繁岐连忙解释道。
“你不用紧张，我只是稍微有些好奇，想看看咱们学校到底是不是出了个这方面的天才。若是真的，我肯定大力支持。”
孟繁岐连忙先请付院长坐下，先为他大概介绍了一下背景，原理和现阶段难题。
付院长本身是纯数学出身，此前又在老师的指示之下对这个领域稍稍了解过一些，因此孟繁岐没说太多，他就已经掌握了大概。
“你认为深度网络难训练的问题本质上是梯度问题，所以你想使用残差的形式。”付院长喃喃自语，左手握拳，撑住了自己的下巴。
“如果不去深究神经网络本身的变换，而只是将其的变换理解为一个未知的高维函数的话，f(x)的多次累加会比x+f(x)的残差形式要不稳定太多。”孟繁岐后世主要以理解算法的流程，了解几种对比方法的优缺点为主。
对于其具体的内在原理，数学推导，平心而论，他的关心远远不足。现下正是弥补这部分短板的大好机会。
“如果我们讨论一个函数的多次嵌套，f(f(f(f(..f(x)..))))的话，不管是否是残差的形式，都是相当难以分析的。从数学上直观来看，两个相同次数的嵌套，有残差与否，不应当会改变该函数的实际表达能力。也就说，你构建的模型其对函数拟合的能力是与原本相当的。”
“倘若真的可以观察到明显的改善，那说明这种残差的形式只是能够让你所说的模型更容易被优化。换言之，以我的视角来说，该函数的求解变得更加精确了，从这个角度来看，残差是一种简洁的欧拉前向形式。”
付德清说着，拿起了纸笔开始了一些推演。孟繁岐疏于数学上的推演，但他很熟悉这种形式构建的网络有什么特性，因而越听越觉得惊奇。付院长的数学分析竟然相当接近不少后来的实验结果。
只可惜自己看他亲自上手推论，却稍微有些吃力了。
此时此刻和他一样一头雾水的还有附近竖起耳朵吃瓜的几名高年级学长学姐。