大腦神經(jīng)網(wǎng)絡(luò)具有復(fù)雜的語義記憶和動態(tài)連接性，可將不斷變化的輸入與其龐大記憶中的經(jīng)驗聯(lián)系起來，高效執(zhí)行復(fù)雜多變的任務(wù)。目前，人工智能系統(tǒng)中廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型大多是靜態(tài)的，隨著數(shù)據(jù)量的不斷增長，其在傳統(tǒng)數(shù)字計算系統(tǒng)中產(chǎn)生大量能耗和時間開銷，難以適應(yīng)外界環(huán)境的變化。
針對這一問題，微電子所微電子器件與集成技術(shù)研發(fā)中心劉明院士團隊的尚大山研究員與香港大學(xué)電子工程系的王中銳博士、復(fù)旦大學(xué)張續(xù)猛博士合作，通過將人工神經(jīng)網(wǎng)絡(luò)與大腦的動態(tài)可重構(gòu)性相結(jié)合，開發(fā)了一種基于語義記憶的動態(tài)神經(jīng)網(wǎng)絡(luò)（Dynamic neural network）。該網(wǎng)絡(luò)將新信息與過去的經(jīng)驗信息進行關(guān)聯(lián)，利用輸入樣本與語義記憶的相似性，為神經(jīng)網(wǎng)絡(luò)配備動態(tài)連接，從而根據(jù)需求分配計算資源。相比靜態(tài)網(wǎng)絡(luò)，語義記動態(tài)神經(jīng)網(wǎng)絡(luò)能夠根據(jù)計算資源權(quán)衡識別準確性和計算效率，可在資源受限設(shè)備或分布式計算環(huán)境中展現(xiàn)出色的性能。團隊基于TaN/TaOx/Ta/TiN阻變存儲器陣列驗證了動態(tài)神經(jīng)網(wǎng)絡(luò)設(shè)計在ResNet和PointNet++網(wǎng)絡(luò)框架上的有效性。提取特征的神經(jīng)網(wǎng)絡(luò)和語義記憶分別在基于阻變存儲器的存內(nèi)計算（CIM）和內(nèi)容尋址存儲（CAM）的組合結(jié)構(gòu)上進行物理實現(xiàn)，有效緩解了馮·諾依曼計算瓶頸。在對2D圖像數(shù)據(jù)集MNIST和3D點云數(shù)據(jù)集ModelNet的分類任務(wù)中，該設(shè)計實現(xiàn)了與軟件相當(dāng)?shù)臏蚀_率，相比于靜態(tài)神經(jīng)網(wǎng)絡(luò)減少了48.1%和15.9%的計算量，相比傳統(tǒng)數(shù)字硬件系統(tǒng)降低了計算能耗。這種軟硬件協(xié)同設(shè)計研究為開發(fā)與大腦的適應(yīng)性和效率相媲美的人工智能系統(tǒng)提供了參考。
該項目得到了科技部、國家自然科學(xué)基金委、中國科學(xué)院的支持。成果近期發(fā)表在《科學(xué)-進展》期刊上（Science Advances,10,eado1058,2024）。香港大學(xué)碩士生張越與微電子所博士生張握瑜為共同第一作者，香港大學(xué)王中銳博士，復(fù)旦大學(xué)張續(xù)猛博士和微電子所尚大山研究員為該文章的共同通訊作者。參與本工作的還有微電子所許曉欣研究員、復(fù)旦大學(xué)劉琦教授、香港大學(xué)齊曉娟博士和香港科技大學(xué)鄭光廷教授。
文章鏈接：https://www.science.org/doi/10.1126/sciadv.ado1058
Semantic memory–based dynamic neural network using memristive ternary CIM and CAM for 2D and 3D vision
Y. Zhang, W. Zhang, S. Wang, N. Lin, Y. Yu, Y. He, B. Wang, H. Jiang, P. Lin, X. Xu, X. Qi, Z. Wang*, X. Zhang*, D. S. Shang*, Q. Liu, K. Cheng, M. Liu
????Science Advances 10, eado1058 (2024)
圖1 :基于語義記憶的腦啟發(fā)動態(tài)神經(jīng)網(wǎng)絡(luò)硬件軟件協(xié)同設(shè)計
圖2 :基于CIM/CAM的動態(tài)PointNet++模型用于ModelNet數(shù)據(jù)集分類
科研工作