中國電子元件行業(yè)協(xié)會
China Electronic Components Association
近日，東北師范大學(xué)徐海陽教授團(tuán)隊研發(fā)出一款仿生自適應(yīng)光傳感器。在自供電模式之下，它能感知并處理從紫外到近紅外寬波段的入射光，并能很好地模擬人眼的視覺適應(yīng)行為。
這項成果既豐富了當(dāng)前神經(jīng)形態(tài)器件的種類，也促進(jìn)了視網(wǎng)膜仿生器件的發(fā)展，有望成為仿生視覺系統(tǒng)中感知端的重要集成組件，從而推動仿生視覺領(lǐng)域的進(jìn)一步發(fā)展。
據(jù)了解，該傳感器基于二維 γ-InSe 半導(dǎo)體材料，采用 “非中心對稱”和“非對稱接觸”的設(shè)計思路，背后機(jī)制結(jié)合了光-熱釋電效應(yīng)、以及光-熱電效應(yīng)，即基于以“光-熱-電”作用為基礎(chǔ)的工作機(jī)制。
通過此，它可以對光強(qiáng)和波長進(jìn)行分辨，從而產(chǎn)生自適應(yīng)的光響應(yīng)。
目前，在自驅(qū)動模式之下，其已具備模擬部分人眼適應(yīng)功能的能力。
也就是說，本傳感器可以在不同光照情境之下，進(jìn)行按需生產(chǎn)與應(yīng)用，比如用于智能監(jiān)控、自動駕駛、機(jī)器人視覺等。
傳感器已經(jīng)有很多，為何要研發(fā)這種傳感器？
傳感器，并不是新鮮事物。那么研發(fā)本傳感器的背后原因是什么？
據(jù)論文共同通訊作者李遠(yuǎn)征副教授介紹，當(dāng)與周圍環(huán)境互動時，人類的視覺感知能力可以從周圍環(huán)境中收集到 80% 以上的信息。
視覺感知系統(tǒng)，是人類以及其他脊椎動物最重要的感知系統(tǒng)。作為視覺感知系統(tǒng)的重要組成部分，人眼可以感知顏色、亮度等視覺信息。
此外，人眼可以通過自動調(diào)整瞳孔大小，來適應(yīng)不同的光線強(qiáng)度。比如，人類之所以能在亮光和暗光中都能看清晰圖像，正是依賴于這種視覺自適應(yīng)的能力。
當(dāng)前，各種模仿生物系統(tǒng)的傳感器陸續(xù)涌現(xiàn)。其中，仿生視覺傳感器已經(jīng)成為人工智能領(lǐng)域的研究熱點之一。在人類的視覺系統(tǒng)之中，一個重要的功能便是視覺適應(yīng)。
視覺適應(yīng)，是一種面對刺激時的自主反應(yīng)。它可以讓感知系統(tǒng)調(diào)整自身行為，從而適應(yīng)不同的光線環(huán)境。
對于人造類仿生視覺傳感器來說，它們往往可以在各種照明條件之下，針對不同刺激響應(yīng)作出自主調(diào)整，從而捕獲相關(guān)的圖像，進(jìn)而完成視覺檢查和視覺識別等任務(wù)。
目前，不少仿生視覺傳感器都能以動態(tài)方式去適應(yīng)外部光刺激，也就是說它們具備模擬人類視覺適應(yīng)功能的潛力。
然而，現(xiàn)有的模擬人類視覺適應(yīng)功能，往往受困于復(fù)雜的硬件和軟件系統(tǒng)，導(dǎo)致操作效率并不夠高。
同時，已有傳感器的主要工作機(jī)制，仍然局限于對載流子捕獲或離子遷移的調(diào)控，無法滿足視覺自適應(yīng)器件的應(yīng)用需求，也無法順應(yīng)人工視覺系統(tǒng)的發(fā)展趨勢。
所以，亟待探索關(guān)于傳感器的新機(jī)制，從而更好地服務(wù)于具有簡單器件構(gòu)型的仿生視覺傳感器。
也就是說，未來的傳感器不僅要擁有傳統(tǒng)光傳感器的高靈敏響應(yīng)性能，還要能在特殊環(huán)境之下針對所感知的圖像進(jìn)行預(yù)處理，從而在確保具有強(qiáng)大預(yù)處理功能的同時，也具備大型集成電路所無法達(dá)到的超低功耗特點。正是基于這些考慮，課題組研發(fā)了本傳感器。
傳感新技術(shù)涌現(xiàn)
這項創(chuàng)新背后還有另一個推動力:堆棧傳感器技術(shù)的出現(xiàn)。由于之前的傳感器大多為傳統(tǒng)的背照式傳感器，背照式是相對于傳統(tǒng)CMOS前照式而言的。傳統(tǒng)CMOS在感光元件的感光層前面有一排金屬電路，光線要先通過金屬排線電路才能到達(dá)感光層，這就影響了透光率，甚至造成像素干擾。而背照式傳感器的意思就是將這層金屬電路層移到了感光層后面以解決上述問題，從而提高光線利用率。傳統(tǒng)傳感器的結(jié)構(gòu)是在相同的基板上實現(xiàn)像素和電路，為了減小CIS尺寸，必須減少無光面積。但僅實現(xiàn)模擬/數(shù)字電路的基本功能，為附加功能添加電路就變得非常有限。
堆棧式傳感器是對背照式結(jié)構(gòu)的改進(jìn)。背照式中的感光層原來也是有電路的并且和后面的電路層相連，堆棧式就是將感光層的像素部分進(jìn)一步獨(dú)立出來，將其中的電路層挪至下方替代原有的支持基板，這就進(jìn)一步提高了感光層的利用率，可以容納更多的像素，也可以讓電路層使用更先進(jìn)的工藝?！岸褩Ｊ絺鞲衅骷夹g(shù)”，由兩個可以獨(dú)立工作的可見光和近紅外圖像傳感器組成，其中可見光傳感器將采用背照式，并配有RGB彩色濾鏡。
比如海力士的堆棧傳感器，它能夠基于先進(jìn)的半導(dǎo)體工藝，將一個簡單的人工智能硬件引擎嵌入到較低的襯底上的ISP中。與此同時，基于機(jī)器學(xué)習(xí)的新技術(shù)如超分辨率、顏色恢復(fù)、人臉識別和物體識別也在發(fā)展中。
這些新型芯片將在一些領(lǐng)域發(fā)揮作用，其中一些創(chuàng)新已經(jīng)開始進(jìn)入市場。
索尼最近宣布發(fā)布兩款智能視覺傳感器，這是世界上第一個為云服務(wù)配備人工智能處理功能的圖像傳感器。這些產(chǎn)品擴(kuò)大了開發(fā)人工智能攝像頭的機(jī)會，使零售和工業(yè)設(shè)備行業(yè)的各種應(yīng)用成為可能，并有助于構(gòu)建與云連接的最佳系統(tǒng)。
例如，當(dāng)帶有這些傳感器的攝像機(jī)安裝在設(shè)施入口處時，它可以計算進(jìn)入的游客人數(shù)。當(dāng)安裝在零售貨架上時，它可以檢測庫存短缺。安裝在天花板上，它可以用來繪制游客的熱圖，以確定人們聚集最多的區(qū)域。由于使用基于機(jī)器學(xué)習(xí)的ISP技術(shù)，它可以從輸入圖像中提取和分類各種特征，CIS將成為信息傳感器的關(guān)鍵組成部分，用于收集關(guān)于圖像的各種數(shù)據(jù)點、位置、距離等生物特征信息。
這對于使用至少10個攝像頭來探測周圍環(huán)境的自動駕駛汽車來說更加重要。為了提高精度，汽車攝像頭需要滿足各種各樣的要求，比如對區(qū)分距離物體的高分辨率支持，對即使在黑暗環(huán)境中也能識別物體的HDR支持，以及對ISP進(jìn)行預(yù)處理以減少處理器的計算量。
在安全領(lǐng)域，我們需要一個功能來壓縮和加密CIS內(nèi)置ISP中的圖像信號，并將其傳輸?shù)酵獠刻幚砥鳌Ｈ绻麑⑽醇用艿膱D像信號按原樣發(fā)送給外界，則增加了安全漏洞和信息泄露的可能性。因此，CIS內(nèi)部的加密功能至關(guān)重要。
智能手機(jī)應(yīng)用程序在CIS市場份額中處于領(lǐng)先地位，但許多其他應(yīng)用程序有望成為CIS未來增長的驅(qū)動力，特別是隨著機(jī)器視覺應(yīng)用程序的增長和演變。這些新出現(xiàn)的機(jī)會正在推動技術(shù)從移動成像進(jìn)入其他增長領(lǐng)域，我們可能會看到從使用視覺成像到使用視覺傳感和其他交互應(yīng)用的轉(zhuǎn)變。
仿生眼技術(shù)迭代20余年，或成人形機(jī)器人標(biāo)準(zhǔn)模塊
李嘉茂團(tuán)隊關(guān)于仿生眼的研究始于20世紀(jì)90年代。他的導(dǎo)師張曉林（實驗室創(chuàng)始主任）在1999年做出第一代仿生眼，主要實現(xiàn)了雙眼協(xié)調(diào)控制，從當(dāng)時拍攝的照片中可以看到，雙眼中間有一根明顯的轉(zhuǎn)動軸。
當(dāng)時電腦還很笨重，算力也比較小，一雙仿生眼要靠兩臺電腦控制。一臺電腦做視覺采集和計算，另外一臺電腦用來實現(xiàn)電機(jī)控制，兩臺電腦堆起來的高度接近2米。
隨著機(jī)械、視覺傳感器、芯片等技術(shù)進(jìn)步，仿生眼的外形越來越逼真，“視力”越來越清晰，功能也越來越多。第二代具備掃視、跟蹤、穩(wěn)向等多種眼球運(yùn)動能力；第三代實現(xiàn)立體視覺，有一定的計算能力了，但還是在大腦初級視覺的范疇；第四代實現(xiàn)語義理解，可以認(rèn)知場景，能夠進(jìn)行視覺導(dǎo)航了；第五代更多是結(jié)構(gòu)上的變化，大小實現(xiàn)了跟人眼一樣的2厘米直徑，在形態(tài)上更加仿真擬人。
李嘉茂介紹，團(tuán)隊正在推進(jìn)視覺與聽覺、與四肢協(xié)同方面的探索，包括研發(fā)機(jī)器人的腦干芯片?！皺C(jī)器人有很多傳感器，傳感器之間的同步對于機(jī)器人高精度控制來說非常重要。腦干芯片就是把機(jī)器人的多種傳感器融合起來，就像人的腦干一樣做視覺、聽覺、觸覺等多種信息的融合，同時集成處理器、微處理器、神經(jīng)網(wǎng)絡(luò)處理器，為機(jī)器人提供腦干以及部分大腦的功能。”他說。
展望仿生眼接下來的發(fā)展，李嘉茂認(rèn)為，它很可能成為人形機(jī)器人的標(biāo)準(zhǔn)模塊?！艾F(xiàn)在，人形機(jī)器人的四肢和軀干基本做到跟人的形態(tài)一致了，但還缺少一雙‘眼睛’。隨著視覺傳感性能的進(jìn)一步優(yōu)化，仿生眼能讓機(jī)器人跟人接觸時產(chǎn)生互動，在情感表達(dá)上效果更好?！?br/>
記者在交流中發(fā)現(xiàn)，仿生眼的學(xué)科交叉屬性非常強(qiáng)，高度依賴基礎(chǔ)技術(shù)，機(jī)械、生物、計算機(jī)都包含其中。機(jī)緣巧合的是，目前仍是實驗室首席科學(xué)家的張曉林在攻讀博士學(xué)位期間學(xué)習(xí)的是機(jī)械控制，畢業(yè)后進(jìn)入醫(yī)科大學(xué)開始研究與神經(jīng)相關(guān)的眼球運(yùn)動控制。李嘉茂學(xué)計算機(jī)出身，因為對機(jī)器人感興趣，在2005年讀研究生時選擇了機(jī)器人方向，當(dāng)時機(jī)器人和人工智能還比較冷門。交叉學(xué)科的學(xué)習(xí)經(jīng)歷讓他們成為仿生人眼視覺領(lǐng)域研究的先行者，見證了仿生眼的迭代進(jìn)步。
采訪的最后，李嘉茂告訴記者，他非常期待人形機(jī)器人研究的新突破，具體到仿生眼，他關(guān)注四方面技術(shù)能力的提升：
一是更強(qiáng)大的后端知識與算力平臺，仿生眼屬于前端智能，與后端知識與算力平臺結(jié)合將互相賦能，形成信息采集與智能運(yùn)算的強(qiáng)強(qiáng)聯(lián)合；
二是芯片算力的提升，智能算法需要消耗很大的算力，仿生眼算法的提高跟算力的提升不可分割；
三是視覺傳感器分辨率的提升，視覺傳感器的分辨率近年來飛速提升，但依舊不如人眼；
四是人工肌肉，仿生眼現(xiàn)在是利用電機(jī)驅(qū)動，如果人工肌肉等更柔性的材料取得突破，將助力仿生眼的控制更高精度、體積更小型化。
李嘉茂介紹，從20多年前用兩臺笨重的電腦控制仿生眼運(yùn)動，到現(xiàn)在一個指甲蓋大小的芯片就能實現(xiàn)大部分功能，團(tuán)隊的仿生眼相關(guān)技術(shù)已在地鐵弓網(wǎng)檢測、芯片制造自動化等領(lǐng)域應(yīng)用，在仿生人眼視覺領(lǐng)域?qū)崿F(xiàn)了國際一流。“更令人期待的是促進(jìn)人形機(jī)器人迭代，仿生眼未來很可能成為人形機(jī)器人的一個標(biāo)準(zhǔn)模塊?！?/p>
