1.5 神经网络的研究现状

神经网络的研究现状，可以简单地总结为在理论研究和应用之间寻求平衡。可以将研究分成理论和应用两个方面，也可以将研究分成理论研究、实现技术的研究和应用研究三大块。

理论研究包括两个方面，首先是神经网络的模型研究。模型研究涵盖两个方面：一是生物原型研究，主要研究生物神经网络的本质，虽然神经网络领域的科学家已经对此展开了非常深入的研究，但是到目前为止，并没有完全解释生物神经系统的本质；二是人工神经网络的模型研究，即如何设计人工神经网络来模拟神经系统，这是本书的重点。理论研究的第二个方面是神经网络的算法研究，主要研究如何使神经网络更好地学习。除了学习算法本身以外，还有一些理论分析，例如学习的收敛性等。

实现技术的研究包括三个方面。第一个方面是神经网络的实现基础研究，即如何实现模型或者算法。这一研究不一定完全是计算机领域的，也可能涉及其他领域，例如可以通过电子、光学以及生物等技术来实现神经网络；或者利用电子线路将神经网络模型实现成专用的神经网络电路；还可以利用生物技术，将实现神经网络的电子芯片植入大脑中，来帮助大脑控制人类的机体。第二个方面是计算机模拟的研究，在得到一个理论上的数学模型以后，可以通过计算机程序来对这样的网络进行模拟实现。第三个方面是新型计算机的研究，目前的计算机都是冯·诺依曼型计算机，而新型神经计算机可能是未来的一个发展趋势。

除了理论研究和实现技术的研究外还有应用研究。目前各行各业都希望借助神经网络的强大能力来完成各种应用任务，这些非专业人员更加关注神经网络的应用研究。一些开源的框架和工具让神经网络走进各行各业，变成一个趁手的工具供许多非研究人员使用，使得神经网络在各个行业都绽放光彩。

对于神经网络进行优化和改进也有多种方法，例如，对神经网络的基本单元MP神经元进行优化，本书后面介绍的IC神经元，就是对MP神经元的一种优化；另外，还可以优化神经网络的架构。例如，通过把全连接网络改进成权值共享的卷积神经网络和有残差连接的残差神经网络，就是在对神经网络架构进行优化；还可以对损失函数进行优化，例如，在目标检测中引入一些前景和背景的权值超参数，使得学习过程更加注重前景。理论研究主要是破解神经网络的参数及其工作机制。目前神经网络对于我们来说还是个黑盒子，只知道输入数据后能够得到相应的输出，中间的处理过程并不清楚。为了破解神经网络的黑盒效应，产生了当前一个非常重要的研究分支，即神经网络可解释性研究。此外从数学上对神经网络进行相关分析也属于神经网络的理论研究，例如优化方法的可收敛性、优化方法的复杂度上下界等。

总的来说，应用研究是指将特定任务转化成一个优化问题，然后针对优化问题采用合适的神经网络加以解决。理论研究则是对某种在实际应用中表现优异的神经网络进行论证分析。