如果说“感知机”是单个的神经元，那么“多层感知机”就是将分散的神经元，连接成了网络。
在输入层和输出层之间，再加入若干层，每层若干个神经元。
然后每一层的每个神经元，与下一层的每个神经元，都通过权重参数建立起连接……
层与层之间，完全连接。
也就是说，第i层的任意一个神经元，一定与第i+1层的任意一个神经元相连。
这就是多层感知机，简称MLP。
但仅仅简单组合在一起，还不算真正的“人工神经网络”，必须对“感知机”的基本结构，做出一定的改进。
首先，必须加入隐藏层，以增强模型的表达能力。
隐藏层可以有多层，层数越多，表达能力越强，但与此同时，也会增加模型的复杂度，导致计算量急遽增长。
其次，输出层的神经元允许拥有多个输出。
这样模型就可以灵活地应用于各种分类回归，以及其他的机器学习领域，比如降维、聚类等。
此外，还要对激活函数做出扩展……
前一篇“感知机”论文中，主要使用的是阶跃函数sign，虽然简单易用，但是处理能力有限。
因此神经网络的激活函数，一般使用其他的非线性函数。
备选的函数有很多：sigmoid函数，tanh函数，ReLU函数……
江寒逐一进行了分析。
通过使用多种性能各异的激活函数，可以进一步增强神经网络的表达能力。
对于二分类问题，只需要一个输出神经元就够了。
使用sigmoid作为激活函数，来输出一个0到1之间的数值，用来表示结果为1的概率。
对于多类分类问题，一般在输出层中，安排多个神经元，每个分类一个。
然后用softmax函数来预测每个分类的概率……
描述完结构之后，就可以讨论一下“多层感知机”的训练了。
首先是MLP的训练中，经典的前向传播算法。
顾名思义，前向传播就是从输入层开始，逐层计算加权和，直到算出输出值。
每调整一次参数值，就需要重头到尾重新计算一次。
这样运算量是非常大的，如果没有强大的硬件基础，根本无法支撑这种强度的训练。
好在现在已经是2012年，计算机性能已经足够强悍。
前向传播无疑是符合直觉的，缺陷就是运算量很大，训练起来效率比较差。
与“感知机”的训练相比，MLP的训练需要引入损失函数和梯度的概念。
神经网络的训练，本质上是损失函数最小化的过程。
损失函数有许多种选择，经典的方法有均方误差、交叉熵误差等，各有特性和利弊。
整个训练过程是很清晰的。
先随机初始化各层的权重和偏置，再以损失函数为指针，通过数值微分求偏导的办法，来计算各个参数的梯度。
然后沿着梯度方向，以预设的学习率，逐步调整权重和偏置，就能求得最优化的模型……
写完这些就足够了，再多的内容，可以安排在下一篇文章里。
不过，江寒想了想，觉得这篇论文的内容，还是有点过于充实。
仔细琢磨了一下，干脆将其一分为二。
多层感知机的结构和前向传播的概述部分，单独成篇。
神经网络训练中，关于激活函数和损失函数讨论的部分，再来一篇。
然后分开投稿，这样不就可以多拿1个学术点了？
反正学术点又不看字数……
当然，这两篇论文都必须以前一篇的感知机为基础，分别进行阐述，而不能互为前提、互相引用。
这样就需要多动点脑筋了。
江寒又花了一个多小时，才将它们全都补充完整，并丰满起来。
接下来校队、润色一番后，翻译成英文，转换PDF……
投稿的时候，江寒仔细琢磨了一下，在三区里选了两家方向对口的期刊，投了出去。
没有选择影响因子更大的二区或一区期刊。
因为二区以上的期刊，虽然影响因子更高，发表后收获的学术点也多。
但发表难度太大，万一被打回来，再重新投递……
时间耽搁不起。
要知道，江寒只有三个月的时间。
一系列操作下来，差不多就到了10点半。
江寒脱掉外衣，去洗了个澡，然后换上睡衣。
忙了一下午带一晚上，直到这时才闲了下来。
然后他就想起了夏雨菲，也不知道她下午过得好不好，开不开心？
一股深切的思念，从心底涌出。
拿过手机，指纹解锁。
这才发现，有好多条未读微信。
写论文的时候太投入，根本听不到提示音。
点进夏雨菲的聊天界面，就看到了一排文字消息。
“在哪呢？”
“终于写完作业了，好累啊。”
“你在忙什么？”
“看来真的很忙，都没时间看微信了。”
“先睡了，明天还要上学……”
……
除了第一条是放学时间发来的，后面几条都来自10点之后，差不多5分钟一条。
“这傻姑娘，我没回复微信，也不说拨个电话或者语音通话……”
江寒叹了口气，发了个表情图过去。
夏雨菲很快就回复：“忙完了吗？”
江寒微微一笑。
这个时间她还没睡，莫非在一直等着我回复？
前一阵天天哄她上床，不会已经养成了习惯吧？
一天不哄，就睡不着……
“嗯，正准备休息，刚上床。”江寒回复。
夏雨菲：“那你赶紧休息吧，别太劳累了。”
江寒笑了笑，拨了个语音通话。
“喂？”夏雨菲秒接。
江寒声音温和：“想我了没？”
“没有。”
江寒微微一笑。
否认得这么干脆？
那就是想了。
女孩子的话，有时候就得反着听……
“想我你就打个电话，要不拨个语音通话，微信我有时不能及时看到。”江寒温和地嘱咐。
夏雨菲沉默了一小会儿，低声说：“我担心你在忙，别再耽误了你的正事……”
江寒笑了笑：“你要是一直都这么懂事，我可就有点舍不得欺负你了啊。”
夏雨菲脸一红。
他所说的“欺负”，不知道到底是哪种“欺负”？
那自己以后，到底是应该始终这么“懂事”，还是偶尔也“不懂事”一次呢？
“你在哪了？”夏雨菲不敢深想，就没话找话。
“酒店里。”江寒实话实说。
“嗯？”夏雨菲有点意外，“怎么没回寝室？”
“寝室里有点闹，我想专心研究点东西。”江寒回答。
“哪家酒店？”夏雨菲问。
“星河。”
“条件怎么样？”夏雨菲又问。
“还行。”江寒回答。
“你刚才说什么？”夏雨菲好像没听清楚。
“我说还行。”江寒稍微提高音量。
“什么？”夏雨菲仍然没有听清。
“信号怎么忽然变差了……”
那边嘀咕了一声，然后通话就突然中断了。
江寒正打算重拨，一个视频通话的邀请，忽然跳了出来。
视频……
不会是学人家查岗吧？
喜欢重生学神有系统请大家收藏：(m.motiedushu.com)重生学神有系统磨铁读书更新速度全网最快。