目前，ChatGPT等大型AI算法的出現(xiàn)對(duì)計(jì)算設(shè)備性能提出了更高要求。存內(nèi)計(jì)算（CIM）有效緩解了傳統(tǒng)馮諾依曼架構(gòu)中的內(nèi)存墻問題。盡管無法完全解決存儲(chǔ)墻問題，但CIM架構(gòu)通過定制化設(shè)計(jì)方法將存儲(chǔ)單元和計(jì)算電路結(jié)合在一起，本質(zhì)上提高了操作數(shù)的傳輸帶寬，大大降低了這部分?jǐn)?shù)據(jù)的傳輸代價(jià)。近年來，許多具有高計(jì)算能效的數(shù)字CIM架構(gòu)處理器的工作被提出。這些工作通過定制化設(shè)計(jì)數(shù)據(jù)路徑控制微架構(gòu)和稀疏優(yōu)化微架構(gòu)，能夠在計(jì)算不同類型的主流AI算法（如CNN、Transformer）時(shí)實(shí)現(xiàn)很高的計(jì)算能效。然而CIM架構(gòu)的計(jì)算特點(diǎn)是多個(gè)周期得到MAC計(jì)算結(jié)果，不能像傳統(tǒng)數(shù)字電路一樣在流水線填充后每個(gè)周期都能得到MAC計(jì)算結(jié)果。這使得CIM架構(gòu)的應(yīng)用場(chǎng)景被限制在邊緣端的低功耗場(chǎng)景，而非高性能場(chǎng)景。如何在保持CIM計(jì)算架構(gòu)高能效的同時(shí)解決其吞吐率不足的缺點(diǎn)是CIM架構(gòu)成為AI計(jì)算領(lǐng)域通用架構(gòu)路上的關(guān)鍵問題。

針對(duì)該關(guān)鍵問題，中國科學(xué)院微電子研究所劉明院士/張鋒研究員團(tuán)隊(duì)研發(fā)出基于Radix16+LUT技術(shù)的SRAM存內(nèi)計(jì)算處理器芯片。該工作分別在電路級(jí)、微架構(gòu)級(jí)和數(shù)據(jù)級(jí)三個(gè)層面提出了通用的性能優(yōu)化技術(shù)，在保持CIM架構(gòu)高計(jì)算能效的同時(shí)，提高了其在通用AI計(jì)算領(lǐng)域的的吞吐率。

在電路層面，團(tuán)隊(duì)使用Radix16+LUT的技術(shù)將INT8*INT8的計(jì)算周期數(shù)量降低到2，首次實(shí)現(xiàn)了該數(shù)據(jù)精度下的2周期計(jì)算（之前最好記錄是4周期）；使用LUT技術(shù)盡可能降低其中權(quán)重編碼電路的動(dòng)態(tài)功耗開銷，使得單周期內(nèi)的電路計(jì)算功耗降低了21.7%，最終實(shí)現(xiàn)了1.84-2.44倍的MAC計(jì)算功耗降低和2-4倍的吞吐率提升。

在微架構(gòu)層面，團(tuán)隊(duì)提出了可配置Winograd/Spatial混合數(shù)據(jù)路徑微架構(gòu)和像素/通道混合映射方法。使用訓(xùn)練的方法決定在算法的每一層使用哪種等級(jí)的Winograd算法實(shí)現(xiàn)計(jì)算吞吐率的提升。在算法workload映射上，為了在保持高并行度的同時(shí)增加硬件利用率，處理器結(jié)合像素/通道混合映射方法在intra-macro使用通道順序映射；在inter-macro使用像素順序映射。最終，該項(xiàng)技術(shù)在算法準(zhǔn)確率損失小于2.2%的同時(shí)幫助處理器取得了2.59倍的吞吐率提升。

在數(shù)據(jù)層面，團(tuán)隊(duì)充分調(diào)研了近幾年稀疏優(yōu)化技術(shù)的代表性工作并分類總結(jié)，在這些工作的基礎(chǔ)上提出了macro級(jí)并行稀疏優(yōu)化策略。對(duì)于激活數(shù)據(jù)稀疏以每個(gè)macro的輸入數(shù)據(jù)為一組，以組為單位使用檢測(cè)-跳過的方式挑選出能夠被跳過的稀疏數(shù)據(jù)實(shí)現(xiàn)稀疏激活數(shù)據(jù)優(yōu)化。對(duì)于權(quán)重?cái)?shù)據(jù)使用水平方向緊湊排列的方式將權(quán)重?cái)?shù)據(jù)向水平方向壓縮，從而實(shí)現(xiàn)稀疏權(quán)重?cái)?shù)據(jù)的計(jì)算跳過。計(jì)算出的結(jié)果數(shù)據(jù)根據(jù)激活數(shù)據(jù)檢測(cè)索引和權(quán)重?cái)?shù)據(jù)索引在輸出結(jié)果寄存器中重新排列為稀疏跳過操作之前的數(shù)據(jù)格式。且為了減少因?yàn)橄∈鑳?yōu)化導(dǎo)致的計(jì)算停頓，在interval-cycle處理部分稀疏數(shù)據(jù)以實(shí)現(xiàn)latency hiding。該項(xiàng)稀疏優(yōu)化技術(shù)解決了以往該領(lǐng)域類似技術(shù)中計(jì)算并行度受限、對(duì)權(quán)重?cái)?shù)據(jù)格式有特殊要求和稀疏策略通用性不夠高（如需要重新訓(xùn)練的結(jié)構(gòu)化稀疏）的問題，是一種通用的稀疏優(yōu)化策略，最終幫助處理器提升了3.11倍的計(jì)算吞吐率。

上述設(shè)計(jì)在28nm 工藝上得到驗(yàn)證，在提出的三種技術(shù)支持下實(shí)現(xiàn)了最高258.5TOPS/W的峰值計(jì)算能效。相比已有的state-of-the-art CIM處理器工作其標(biāo)準(zhǔn)化計(jì)算吞吐率提升了2.04-3.05倍，計(jì)算能效提升了2.55-3.45倍。該工作使用分層解耦合的思想在電路、微架構(gòu)和數(shù)據(jù)三個(gè)層面充分探索其設(shè)計(jì)空間，針對(duì)CIM架構(gòu)處理器分別提出了通用的吞吐率優(yōu)化技術(shù)。這一研究結(jié)果為通用目的的高性能CiM架構(gòu)處理器設(shè)計(jì)提供了新思路。

????上述研究成果以題為“A 28-nm 19.9-to-258.5-TOPS/W 8b Digital Computing-in-Memory Processor With Two-Cycle Macro Featuring Winograd-Domain Convolution and Macro-Level Parallel Dual-Side Sparsity”發(fā)表在集成電路設(shè)計(jì)領(lǐng)域旗艦期刊IEEE Journal of Solid-State Circuits上，微電子所博士研究生吳昊為第一作者，微電子所張鋒研究員與清華大學(xué)陳勇教授為通訊作者。該研究得到了科技部重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金、中國科學(xué)院戰(zhàn)略先導(dǎo)專項(xiàng)等項(xiàng)目的支持。

????全文鏈接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10562243

圖1 (a) 處理器整體架構(gòu)圖 ，(b) 兩種工作模式的數(shù)據(jù)流向

圖2 (c) 芯片die photo ，(d) 總結(jié)表格