轉(zhuǎn)眼,AI大模型的競(jìng)賽已迎來(lái)“升維”,從通用大語(yǔ)言模型的驚艷到如今AI視頻大模型的火爆,
OpenAI的Sora一經(jīng)發(fā)布就被擠爆服務(wù)器,字節(jié)跳動(dòng)掏出視覺(jué)理解模型,1塊錢(qián)搞定284張720P照片,多模態(tài)模型價(jià)格邁入“厘時(shí)代”。
李飛飛在NeurIPS大會(huì)上用180頁(yè)P(yáng)PT大談視覺(jué)智能,強(qiáng)調(diào)解決空間智能問(wèn)題是邁向全面智能化的基礎(chǔ)和關(guān)鍵一步——空間智能讓計(jì)算機(jī)看見(jiàn)世界、理解世界。
而這種理解世界的能力也讓具身智能賽道迸發(fā)出巨大機(jī)會(huì),人形機(jī)器人領(lǐng)域融資火爆,今年前11個(gè)月融資總額超過(guò)50億元,融資事件近50起。近期稚暉君智元機(jī)器人等明星創(chuàng)企動(dòng)作頻頻引起廣泛關(guān)注。
硬件層面,蘋(píng)果Vision Pro雖沒(méi)有成為蘋(píng)果下一個(gè)爆款產(chǎn)品,但卻推開(kāi)了空間計(jì)算時(shí)代的大門(mén),讓我們看到了當(dāng)下虛擬現(xiàn)實(shí)設(shè)備能帶來(lái)的天花板體驗(yàn)。
可以說(shuō),從硬件到軟件,從技術(shù)到生態(tài),人類(lèi)社會(huì)正向著空間計(jì)算時(shí)代加速發(fā)展。未來(lái)AI要認(rèn)識(shí)世界理解世界,具身智能則成為AI與世界交互的載體,這一切都離不開(kāi)空間計(jì)算能力的支撐,需要端側(cè)模型來(lái)驅(qū)動(dòng),需要端側(cè)AI模型技術(shù)和產(chǎn)品的支持。
由此,整個(gè)算力產(chǎn)業(yè)都愈發(fā)關(guān)注AI在端側(cè)的落地和產(chǎn)業(yè)化,尤其是芯片廠商,面對(duì)如此快速的產(chǎn)業(yè)變革,都在加快技術(shù)和產(chǎn)品的迭代。國(guó)內(nèi)不少年輕創(chuàng)企都在各自細(xì)分賽道交出了漂亮的成績(jī)單。
比如合肥芯明智能科技有限公司(簡(jiǎn)稱(chēng):芯明)就亮出了目前全球唯一單芯片集成芯片化實(shí)時(shí)3D立體視覺(jué)感知、AI、實(shí)時(shí)定位建圖(SLAM)的空間智能系統(tǒng)級(jí)芯片。芯明的空間計(jì)算技術(shù)及產(chǎn)品也已經(jīng)廣泛落地在人形機(jī)器人、移動(dòng)機(jī)器人、機(jī)器狗、自主避障無(wú)人機(jī)、MR、智能機(jī)械臂等應(yīng)用領(lǐng)域。
芯東西與芯明進(jìn)行了獨(dú)家對(duì)話,對(duì)其核心產(chǎn)品技術(shù)優(yōu)勢(shì)進(jìn)行了細(xì)致挖掘,并深入探討了當(dāng)下空間計(jì)算時(shí)代芯片企業(yè)和AI產(chǎn)業(yè)面臨的機(jī)遇和挑戰(zhàn)。
我們所生活的世界是由三維空間組成的,AI想要真正理解世界,就必須要發(fā)展到空間智能階段。未來(lái)的空間智能需要能夠理解立體空間的結(jié)構(gòu)、各類(lèi)移動(dòng)物體的運(yùn)動(dòng)規(guī)律以及它們之間的相互關(guān)系等,從而做出正確的決策和行動(dòng)。
有了大腦還不夠,AI想要與現(xiàn)實(shí)的物理世界進(jìn)行交互,就必須對(duì)物理世界有理解,并可以在物理世界中操控真實(shí)的標(biāo)的物,而這就是具身智能,可以理解為類(lèi)似人體的神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)對(duì)物理空間的標(biāo)的物進(jìn)行操控或互動(dòng)。
空間計(jì)算技術(shù)可以推動(dòng)人形機(jī)器人的具身智能進(jìn)化,3D視覺(jué)技術(shù)讓人形機(jī)器人實(shí)現(xiàn)感知和識(shí)別、自主導(dǎo)航和避障,三維多模態(tài)大模型幫助人形機(jī)器人認(rèn)識(shí)和理解真實(shí)的三維物理世界,提升通用感知和交互能力。
這些都是實(shí)現(xiàn)通用人工智能的關(guān)鍵,空間智能正在與具身智能結(jié)合,向著AGI發(fā)展,兩者也必將成為AI產(chǎn)業(yè)未來(lái)發(fā)展的重要方向。
深耕空間計(jì)算芯片,自研核心黑科技實(shí)現(xiàn)高集成度,破解性能、功耗、成本平衡難題
在這樣的產(chǎn)業(yè)背景下,提供出色的空間計(jì)算技術(shù)支撐無(wú)疑是一個(gè)關(guān)鍵的產(chǎn)業(yè)“剛需”。
從3D空間感知、空間定位、運(yùn)動(dòng)跟蹤到運(yùn)動(dòng)交互,從泛機(jī)器人、XR、3D掃描到自主避障無(wú)人機(jī),這些領(lǐng)域都需要用到大量空間計(jì)算相關(guān)技術(shù),包括3D立體視覺(jué)感知、AI以及SLAM。
這也是為何芯明要做這樣一顆高度集成的空間計(jì)算芯片,去解決企業(yè)在空間計(jì)算時(shí)代的核心痛點(diǎn)。
這種高度集成化的系統(tǒng)級(jí)空間計(jì)算芯片在各類(lèi)空間數(shù)據(jù)處理中都扮演著核心角色。
目前,行業(yè)中的傳統(tǒng)機(jī)器視覺(jué)行業(yè)解決方案面臨諸多挑戰(zhàn),比如2D視覺(jué)已經(jīng)無(wú)法滿足日益復(fù)雜的終端應(yīng)用要求。在具體場(chǎng)景中,很多操作或運(yùn)動(dòng)已經(jīng)無(wú)法單純依靠2D視覺(jué)執(zhí)行,無(wú)三維信息和空間距離也導(dǎo)致很多功能無(wú)法高效實(shí)現(xiàn)。
此外,傳統(tǒng)AI芯片或FPGA芯片疊加軟件化3D算法的這種方案也開(kāi)始變得越來(lái)越不可持續(xù),延時(shí)高、功耗高、無(wú)法適應(yīng)復(fù)雜3D場(chǎng)景應(yīng)用等短板變得越來(lái)越明顯。
與此同時(shí),適用于復(fù)雜場(chǎng)景的3D感知設(shè)備價(jià)格昂貴、多傳感器融合也會(huì)大幅增加系統(tǒng)成本和復(fù)雜度。從MR頭顯、無(wú)人機(jī)到AMR機(jī)器人都會(huì)遇到這些挑戰(zhàn)。
目前芯明的3D雙目立體算法是直接固化在芯片上的,無(wú)需借助額外的大算力AI芯片及昂貴的定制化傳感器,就可以實(shí)現(xiàn)復(fù)雜3D環(huán)境的實(shí)時(shí)高速感知,并且場(chǎng)景更通用,這也更有利于3D視覺(jué)的加速普及。
在單一芯片上,芯明實(shí)現(xiàn)了3D+AI+SLAM的高度集成,做為單一系統(tǒng)級(jí)芯片解決方案兼顧低功耗、低成本、小型化等幾個(gè)關(guān)鍵特性,這些特性?xún)?yōu)勢(shì)對(duì)端側(cè)設(shè)備來(lái)說(shuō)至關(guān)重要。
當(dāng)然,在芯片領(lǐng)域?qū)崿F(xiàn)功耗、成本、集成度的兼顧向來(lái)是一件難事。為此,芯明自研了多傳感器處理和融合處理器、自研了3D深度視覺(jué)引擎和部分專(zhuān)用硬件引擎,包括重要的自研SLAM引擎,當(dāng)然,還有前文提到的算法芯片化能力。
此外,芯明的NU4000和NU4100兩款核心產(chǎn)品都用上了12nm的先進(jìn)工藝制程,其中,NU4100的AI算力相比NU4000幾乎翻倍,能夠以更低成本、更低功耗的方式助力客戶(hù)實(shí)現(xiàn)系統(tǒng)升級(jí),進(jìn)一步提升能效比。
在架構(gòu)方面,兩款芯片的通用計(jì)算和系統(tǒng)控制及處理均用上了Arm Cortex-A5 CPU,NU4100的CNN神經(jīng)網(wǎng)絡(luò)處理器算力達(dá)到了3.5TOPS,可以應(yīng)對(duì)各類(lèi)常見(jiàn)AI場(chǎng)景。
基于高分辨率ISP和視頻編解碼器,芯明空間計(jì)算芯片可以同時(shí)處理6路攝像頭數(shù)據(jù),3D視覺(jué)性能可以支持到1080P 60FPS或720P 120FPS的水平,異步時(shí)間扭曲硬件引擎使運(yùn)動(dòng)到顯示延時(shí)能夠做到約1毫秒。
值得一提的是,芯片系統(tǒng)整體功耗可以控制在1W以?xún)?nèi),可以說(shuō)是真正做到了性能、功耗的兼顧。
不僅是芯片本身,芯明還可以提供端到端全棧產(chǎn)品和解決方案,根據(jù)客戶(hù)和行業(yè)需求去量身打造相應(yīng)的產(chǎn)品,更有針對(duì)性,實(shí)現(xiàn)效率進(jìn)一步提升。
比如針對(duì)泛機(jī)器人客戶(hù),芯明有3D立體視覺(jué)模組標(biāo)準(zhǔn)和定制產(chǎn)品,企業(yè)客戶(hù)可以“開(kāi)箱即用”,這些產(chǎn)品可以實(shí)現(xiàn)深度感知、自主避障、高精度棧板識(shí)別、AI智能場(chǎng)景識(shí)別、物體識(shí)別等功能。
而對(duì)于各細(xì)分行業(yè)龍頭客戶(hù),芯明也有能滿足其更高需求的空間計(jì)算芯片及解決方案,包括從模組到算法庫(kù)的端到端全棧解決方案,從硬件到軟件都可以定制化。這一模式在無(wú)人機(jī)、MR頭顯等領(lǐng)域的頭部客戶(hù)中常有應(yīng)用。
值得一提的是,在實(shí)際應(yīng)用開(kāi)發(fā)中,芯明積累了大量的應(yīng)用算法,可快速幫助客戶(hù)提供定制產(chǎn)品解決方案及加速產(chǎn)品化周期,這也是芯明在產(chǎn)業(yè)中的核心競(jìng)爭(zhēng)優(yōu)勢(shì)之一。
我們能看到,實(shí)現(xiàn)出色的端到端體驗(yàn)背后,是芯明大量自研技術(shù)的創(chuàng)新和突破。據(jù)了解,芯明在3D深度視覺(jué)、復(fù)雜SoC芯片設(shè)計(jì)、低功耗設(shè)計(jì)、光學(xué)、嵌入式系統(tǒng)軟件、AI邊緣計(jì)算和SLAM等關(guān)鍵領(lǐng)域有著深厚的研發(fā)積累。
當(dāng)前,芯明正致力于研發(fā)新一代空間理解模型和算法組件,幫助推動(dòng)具身智能算法的迭代與部署。
這些技術(shù)積累無(wú)疑是今天芯明能夠快速把握行業(yè)趨勢(shì)、通過(guò)產(chǎn)品創(chuàng)新精準(zhǔn)洞穿需求痛點(diǎn)的關(guān)鍵支撐,讓芯明可以根據(jù)客戶(hù)的需求快速開(kāi)發(fā)高性能定制化空間計(jì)算芯片。
正如前文所說(shuō),2024年是AI加速落地的一年,如何實(shí)現(xiàn)商業(yè)化、產(chǎn)業(yè)化是行業(yè)聚焦的,以芯片為代表的算力產(chǎn)業(yè)表現(xiàn)尤為突出。
目前,在人形機(jī)器人、MR、機(jī)器狗、移動(dòng)機(jī)器人、自主避障無(wú)人機(jī)、3D掃描這些熱門(mén)前沿領(lǐng)域中,我們看到全球范圍內(nèi)不少頭部廠商已經(jīng)在產(chǎn)品中應(yīng)用了芯明的產(chǎn)品和解決方案。
國(guó)內(nèi)我們能看到多家國(guó)內(nèi)消費(fèi)電子巨頭和互聯(lián)網(wǎng)大廠,而海外則有國(guó)際物流及機(jī)器人巨頭,以及頭部工業(yè)頭顯供應(yīng)商。
在“強(qiáng)強(qiáng)聯(lián)合”的合作模式下,芯明會(huì)將自己的技術(shù)共享出來(lái),與客戶(hù)進(jìn)行協(xié)同創(chuàng)新,雙方的優(yōu)勢(shì)互補(bǔ),進(jìn)一步提升企業(yè)快速將產(chǎn)品推向市場(chǎng)、拓展業(yè)務(wù)領(lǐng)域、最終實(shí)現(xiàn)業(yè)務(wù)增長(zhǎng)的能力。
比如芯明與上市公司天娛數(shù)科在空間智能領(lǐng)域的合作探索,天娛數(shù)科的空間智能MaaS平臺(tái)有80多萬(wàn)組3D數(shù)據(jù)、35萬(wàn)組多模態(tài)數(shù)據(jù),將芯明的空間計(jì)算芯片和技術(shù)、3D視覺(jué)模組優(yōu)勢(shì)與天娛數(shù)科的數(shù)據(jù)資源、應(yīng)用場(chǎng)景優(yōu)勢(shì)相結(jié)合,使得模型訓(xùn)練、算法優(yōu)化更高效,芯明“感算一體、多路融合”的產(chǎn)品技術(shù)特點(diǎn)進(jìn)一步拓寬了天娛數(shù)科智能生態(tài)邊界。
顯然,這種整合和優(yōu)化產(chǎn)業(yè)鏈資源的模式,可以提升產(chǎn)業(yè)鏈的整體效率和競(jìng)爭(zhēng)力,對(duì)雙方企業(yè)和行業(yè)都有積極意義。
面向未來(lái)必將會(huì)變得更加復(fù)雜的市場(chǎng)需求,芯明也做好了準(zhǔn)備,但這種準(zhǔn)備更像是一種“變化中的不變”。
變得是行業(yè)風(fēng)向、客戶(hù)需求、自身的產(chǎn)品技術(shù)迭代,但不變的則是硬核技術(shù)創(chuàng)新的底色和積極深入行業(yè)與行業(yè)共創(chuàng)共研的成熟模式。
未來(lái),芯明計(jì)劃繼續(xù)拓展消費(fèi)電子行業(yè),用空間智能技術(shù)提高目前產(chǎn)品的性能及功能,同時(shí)也會(huì)緊跟市場(chǎng)需求推出一些針對(duì)行業(yè)痛點(diǎn)的創(chuàng)新產(chǎn)品。
芯明的空間計(jì)算芯片解決方案因其高性能、低功耗、出色的多傳感器融合能力、芯片級(jí)3D深度視覺(jué)引擎、對(duì)自主SDK的支持、適應(yīng)多樣化需求以及全球化的競(jìng)爭(zhēng)力和產(chǎn)品力,成為這些應(yīng)用場(chǎng)景中更有競(jìng)爭(zhēng)力的選擇。
這背后,對(duì)技術(shù)創(chuàng)新的持續(xù)深耕、積極拓展應(yīng)用領(lǐng)域,進(jìn)而提升自身核心競(jìng)爭(zhēng)力,都值得產(chǎn)業(yè)的學(xué)習(xí)和借鑒。這也是芯明能不斷推出新的解決方案,以適應(yīng)市場(chǎng)和技術(shù)的變化的根本保證。
空間智能和具身智能已經(jīng)成為AI產(chǎn)業(yè)確定性的重要發(fā)展方向,當(dāng)下空間計(jì)算產(chǎn)業(yè)的發(fā)展,技術(shù)的突破,產(chǎn)業(yè)生態(tài)的完善,仍需各路玩家的合力來(lái)解決。
Bsports必一體育
空間計(jì)算給產(chǎn)業(yè)帶來(lái)了巨大想象空間以及廣闊的發(fā)展前景,空間計(jì)算時(shí)代才剛剛拉開(kāi)序幕,要做的事情還很多,精彩還在后面。