1959年，美國哈佛大學兩位休伯爾 (David Hubel) 和魏澤爾 (Torsten Wiesel) 經由實驗發表了他們對感知的研究，他們認為感知不是發生在單層神經元中，而是在多層神經元，這個發現改變了人類過去對感知的認識，他們也因為這項發現獲得了1981年的諾貝爾獎。
這項發現能不能用在人工智慧領域？1980年，有個叫福島邦彥的日本人，開發出一種叫作「新認知機」(Neocognition)的多層人工神經網路演算法，用來解決手寫辨識的問題，效果不錯，然而福島的演算法結構複雜，玄之又玄，無法用傳統方法訓練，所以然後，就沒有然後了。
1986年，加州大學聖地牙哥分校教授魯梅哈特 (David E. Rumelhart) 領導的團隊投稿《自然》期刊，發表了一種名為「反向傳播」 (Backpropagation) 的技術，透過這項技術，新認知機之類的人工神經網路能以前所未見的規模學習，準確率也是空前的，這為人工智慧後續的飛躍發展埋下了伏筆。
雖然期刊論文掛名的魯梅哈特，但反向傳播真正的靈魂人物是一個叫傑佛瑞·辛頓 (Geoffrey Hinton) 的人。辛頓當時是卡內基美隆大學的教授，他從小就對智慧和智力的議題有興趣，以探索重現智慧的方法為職志，在期刊論文發表後，他持續對機器學習、人工神經網路進行研究開發，在他的努力下，人工神經網路層數越來越多、神經元結構也越來越複雜、訓練方式也越來越進步，他的學生楊立昆，在1993年用神經網路開發出手寫辨識模型，準確率極高，這證明了機器學習是可以在現實世界中執行任務的。
2006年，辛頓找到突破技術瓶頸的方法，他提出限制玻爾茲曼機模型 (Restricted Boltzmann Machine)，成功訓練出多層神經網路，可用來描述更複雜的非線性函數，這被稱為「深度學習」(Deep Learning)。他也同時證明，神經網路若是層數變多，預測的準確率也會大幅提升。
然後，就又沒有然後了。
雖然深度學習的雛型在1980年代就出現了，但始終沒有火紅起來，問題出在資料(對岸大陸叫「數據」)和算力。
資料量對深度學習非常重要，原則上，在資料品質可以確保的前提下，資料越多，深度學習表現越可靠，但是數據哪裡來？現在看沒什麼，但要知道，1980年代，是個資料儲存成本高昂，連WWW 都還在娘胎等著出生(1989年)的年代。
算力更是大問題，深度學習，相較於傳統機器學習，要多出幾十倍、甚至幾百倍的運算量，這在1980年代到2000年代初期，代表的是高昂的成本。
辛頓和楊立昆無疑是神經網路的先驅，世人對他們的評價是：神經網路是個很妙的想法，但他們生不逢時。
華裔科學家李飛飛在他的著作《AI 科學家李飛飛的視界之旅》一書中曾經有以下的描述：
他 (辛頓) 其中一通電話是打給馬立克，這位老朋友過去一直很懷疑他的研究。
「我該怎麼做，才能讓你相信神經網路是我們的未來？」辛頓問。
「傑佛瑞啊，你是認真想讓我服氣嗎？那就讓我看看神經網路能做什麼正經事啊。」
其實不只神經網路，1990年代到2010年前後，整整二十年，在人工智慧史上，被視為第二次寒冬，詳細原因，限於篇幅，我就不在此細談了，但總之，就是人工智慧具體沒做出什麼成績。整整二十年，無論是學界還是業界，如果要拿經費拿預算，你可以自稱在做自然語言、語音辨識、機器人、醫療訊號分析…或是任何事情，就是不要說自己在做人工智慧。人工智慧，就像佛地魔一樣，是個YouKnowWho，你明明知道，但不能提的名詞，而神經網路，恰好就是在鄙視鏈的最底層，被一群被別人看不起的自己人看不起。
然後，事情迎來了轉機。2008年，GPU 出世了，進到2010年，隨著行動網路、物聯網的發達，大數據興起了。
2012年，在「ImageNet 大規模視覺辨識挑戰賽」(ImageNet Large Scale Visual Recognition Challenge, ILSVRC) 中，由來自加拿大多倫多大學的亞歷克斯·克里澤夫斯基 (Alex Krizhevsky) 掛名第一作者的「AlexNet」以85%的準確率奪冠，比第二名的團隊整整高出了十個百分點，這一成就當時震撼了包括李飛飛在內的許多AI 科學家，而這個團隊用的方法正是神經網路。
深度學習自此一戰成名，電腦科學界為之狂熱，紛紛嘗試在各領域運用神經網路解決該領域的問題。有許多優秀的演算法紛紛出世，包括2017年的轉換器 (Transformer) 模型，該模型不僅在處理複雜問題更有效率，同時也推進了自然語言處理，提升資料處理速度與訓練品質，對AI 發展產生深遠的影響。由於Transformer 的出現，加上大數據、算力的基礎建設成熟，AI 的發展終於由量變形成質變，迎來了大爆發。
然後，我們有了ChatGPT，以及其他好用的AI。
然後，今年，辛頓得到了諾貝爾獎，距離當年《自然》期刊發表論文，已經將近四十年，這四十年，是無人聞問，同儕排擠的四十年。
在《基度山恩仇記》的尾聲，大仲馬說，人類的一切智慧，都包含在兩個詞之中，「等待」，和「希望」。
讓「將能」成為您的商業夥伴
用搜尋幫助企業成功
