圖9：神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN）是機(jī)器學(xué)習(xí)（Machine Learning，ML）的其中一種方式，是人工智能、認(rèn)知科學(xué)、神經(jīng)生理學(xué)、非線性動(dòng)力學(xué)、信息科學(xué)、和數(shù)理科學(xué)的“熱點(diǎn)”。

ANN的發(fā)展經(jīng)歷了三個(gè)階段

第一個(gè)階段是起步階段，從20世紀(jì)40年代開(kāi)始逐漸形成了一個(gè)新興的邊緣性交叉學(xué)科。1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts合作，融匯了生物物理學(xué)和數(shù)學(xué)，提出了第一個(gè)神經(jīng)計(jì)算模型: MP模型。1949年,心理學(xué)家Hebb通過(guò)對(duì)大腦神經(jīng)細(xì)胞、學(xué)習(xí)和條件反射的觀察與研究,提出了改變神經(jīng)元連接強(qiáng)度的、至今仍有重要意義的Hebb規(guī)則。

第二階段是發(fā)展階段，1957年，Rosenblatt發(fā)展了MP模型,提出了感知器模型：Perception Model，給出了兩層感知器的收斂定理，并提出了引入隱層處理元件的三層感知器這一重要的研究方向。1960年，Widrow提出自適應(yīng)線性元件模型：Ada-line model以及一種有效的網(wǎng)絡(luò)學(xué)習(xí)方法：Widrow-Hoff學(xué)習(xí)規(guī)則。

第三階段是成熟階段，1982年美國(guó)加州工學(xué)院的物理學(xué)家Hopfield提出了一個(gè)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑——Hopfield網(wǎng)絡(luò),使得神經(jīng)網(wǎng)絡(luò)的研究有了突破性進(jìn)展。1984年在Hopfield的一篇論文中，指出Hopfield網(wǎng)絡(luò)可以用集成電路實(shí)現(xiàn)，很容易被工程技術(shù)人員和計(jì)算機(jī)科技工作者理解，引起工程技術(shù)界的普遍關(guān)注。

上世紀(jì)八十年代后期，神經(jīng)網(wǎng)絡(luò)的光芒被計(jì)算機(jī)技術(shù)、互聯(lián)網(wǎng)掩蓋了，但這幾年計(jì)算機(jī)技術(shù)的發(fā)展，恰恰給神經(jīng)網(wǎng)絡(luò)更大的機(jī)會(huì)。神經(jīng)網(wǎng)絡(luò)由一層一層的神經(jīng)元構(gòu)成。層數(shù)越多，就越深，所謂深度學(xué)習(xí)（Deep Learning）就是用很多層神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)達(dá)到機(jī)器學(xué)習(xí)的功能。辛頓是深度學(xué)習(xí)的提出者，2006年，基于深度置信網(wǎng)絡(luò)(DBN)提出非監(jiān)督貪心逐層訓(xùn)練算法，為解決深層結(jié)構(gòu)相關(guān)的優(yōu)化難題帶來(lái)希望，隨后提出多層自動(dòng)編碼器深層結(jié)構(gòu)。目前，深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)技術(shù)廣泛用于計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理識(shí)別上。

關(guān)于神經(jīng)網(wǎng)絡(luò)的研究包含眾多學(xué)科領(lǐng)域，涉及數(shù)學(xué)、計(jì)算機(jī)、人工智能、微電子學(xué)、自動(dòng)化、生物學(xué)、生理學(xué)、解剖學(xué)、認(rèn)知科學(xué)等學(xué)科，這些領(lǐng)域彼此結(jié)合、滲透，相互推動(dòng)神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用的發(fā)展。