隨著高性能神經(jīng)網(wǎng)絡(luò)需求的日益增長,神經(jīng)-符號(hào)人工智能因其高度的可解釋性和適應(yīng)性,正吸引著越來越多的關(guān)注。它可以通過符號(hào)知識(shí)增強(qiáng)深度學(xué)習(xí)的推理和泛化,表現(xiàn)出優(yōu)于深度學(xué)習(xí)的能力。但由于符號(hào)知識(shí)表示與計(jì)算的復(fù)雜性,設(shè)計(jì)并實(shí)現(xiàn)高效的神經(jīng)-符號(hào)硬件仍面臨算力、能效等諸多挑戰(zhàn)。
近日,微電子所集成電路制造技術(shù)重點(diǎn)實(shí)驗(yàn)室劉明院士團(tuán)隊(duì)提出了一種基于記憶交叉陣列的符號(hào)知識(shí)表示解決方案,首次實(shí)驗(yàn)演示并驗(yàn)證了憶阻神經(jīng)-模糊硬件系統(tǒng)在無監(jiān)督、有監(jiān)督和遷移學(xué)習(xí)任務(wù)中的應(yīng)用,為實(shí)現(xiàn)其他基于知識(shí)的技術(shù)提供了指導(dǎo)。團(tuán)隊(duì)將模糊邏輯和規(guī)則形式的符號(hào)知識(shí)直接用記憶交叉陣列的拓?fù)浣Y(jié)構(gòu)表示,利用憶阻器件本征隨機(jī)性增強(qiáng)了知識(shí)表示的魯棒性,提高了系統(tǒng)的推理性能。為解決硬件原位訓(xùn)練收斂速度慢、效果差的問題,團(tuán)隊(duì)首次提出了一種軟硬件協(xié)同優(yōu)化框架下的混合原位訓(xùn)練技術(shù),有效降低了計(jì)算過程中的累積誤差問題。研發(fā)的憶阻神經(jīng)-模糊計(jì)算硬件能效超過FPGA兩個(gè)數(shù)量級(jí)以上,能耗僅為ASIC的約百分之一。以機(jī)器人導(dǎo)航為例,該神經(jīng)-模糊硬件顯示出對未知環(huán)境的優(yōu)越適應(yīng)性,與深度學(xué)習(xí)方法相比,系統(tǒng)學(xué)習(xí)速度提高了約6.6倍,學(xué)習(xí)錯(cuò)誤率降低了約6倍。該工作充分展示了憶阻神經(jīng)形態(tài)計(jì)算系統(tǒng)在人工智能領(lǐng)域應(yīng)用中的巨大潛力。
該工作得到了國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金委、中國科學(xué)院戰(zhàn)略先導(dǎo)B類專項(xiàng)等項(xiàng)目支持。研究成果以“Stochastic neuro-fuzzy system implemented in memristor crossbar arrays”為題在Science Advances(《科學(xué)·進(jìn)展》)期刊在線發(fā)表。微電子所時(shí)拓副研究員為文章第一作者,河北大學(xué)閆小兵教授、復(fù)旦大學(xué)劉琦教授為共同通訊作者。
????全文鏈接:https://www.science.org/doi/10.1126/sciadv.adl3135
圖:(A)模糊推理系統(tǒng)和所提出的神經(jīng)-模糊系統(tǒng)的示意圖
(B)隸屬度函數(shù)的隱式實(shí)現(xiàn)方式
(C)隸屬度函數(shù)的顯式實(shí)現(xiàn)方式
(D)通過稀疏連接實(shí)現(xiàn)模糊規(guī)則的antecedent
(E)基于憶阻交叉陣列的去模糊化硬件實(shí)現(xiàn)方法
(F)基于憶阻硬件系統(tǒng)的實(shí)時(shí)機(jī)器人導(dǎo)航實(shí)驗(yàn)
(G)機(jī)器人運(yùn)動(dòng)軌跡可視化的實(shí)時(shí)地圖
(H)神經(jīng)-模糊硬件在原位訓(xùn)練中角速度的收斂速度和測試誤差率
(I)線速度的收斂速度和測試誤差率
綜合信息