視頻AR玩法進(jìn)入全身時(shí)代，相芯人體AI技術(shù)全面升級(jí)

2020-07-13 15:20 來(lái)源：互聯(lián)網(wǎng) 我來(lái)投稿撤稿糾錯(cuò)

還在玩只限于人臉的AR玩法嗎?一鍵美體塑形、視頻體感游戲、用手機(jī)就能玩虛擬形象全身驅(qū)動(dòng)……隨著5G即將全面普及以及智能圖形技術(shù)的不斷創(chuàng)新,原本受限于高端硬件的全身AR技術(shù),現(xiàn)在用智能手機(jī)就能玩,視頻AR玩法也將全面進(jìn)入了全身時(shí)代。

相芯科技此次對(duì)人體AI技術(shù)進(jìn)行全面升級(jí),在視頻AR特效的功能基礎(chǔ)上進(jìn)行玩法升級(jí),同時(shí)新增開(kāi)放7大功能的算法接口,分別是2D人體關(guān)鍵點(diǎn)、3D人體骨骼、人像分割、頭部分割、頭發(fā)分割、動(dòng)作識(shí)別、手勢(shì)識(shí)別。每項(xiàng)技術(shù)革新背后都能帶來(lái)新的應(yīng)用層的火花,相芯更新的技術(shù)效果到底如何,一起來(lái)看下吧。

打開(kāi)APP 閱讀最新報(bào)道一、2D人體關(guān)鍵點(diǎn)

通過(guò)2D人體關(guān)鍵點(diǎn)算法接口,實(shí)現(xiàn)人體全身2D關(guān)鍵點(diǎn)的跟蹤效果,點(diǎn)位準(zhǔn)確性高,即使做大幅度動(dòng)作、遮擋以及轉(zhuǎn)身的情況下,也能準(zhǔn)確穩(wěn)定跟蹤。同時(shí)針對(duì)用戶在短視頻、直播拍攝時(shí)的自拍場(chǎng)景,2D人體關(guān)鍵點(diǎn)還提供半身模式的點(diǎn)位跟蹤,這樣用戶在單手持手機(jī)自拍的情況下,也能準(zhǔn)確定位人體數(shù)據(jù)。

在高精度的人體關(guān)鍵點(diǎn)模型的基礎(chǔ)上,對(duì)視頻中的人物實(shí)現(xiàn)全身美體功能,是這項(xiàng)技術(shù)比較熱門的應(yīng)用場(chǎng)景。相芯的技術(shù),可以從瘦身、長(zhǎng)腿、細(xì)腰、美肩、美臀、小頭、瘦腿等七個(gè)美化維度,對(duì)人物的身體進(jìn)行精細(xì)化調(diào)整,從而達(dá)到一件瘦身塑形的作用。

二、3D人體骨骼

相芯科技開(kāi)放的3D人體骨骼的算法接口,主要應(yīng)用于基于3D關(guān)鍵點(diǎn)和3D骨骼,實(shí)現(xiàn)3D虛擬形象的全身驅(qū)動(dòng)。這項(xiàng)技術(shù)不依賴于深度攝像頭,只需要手機(jī)的普通攝像頭就能獲得視頻中的人體3D骨骼數(shù)據(jù),即使人物做大幅度的動(dòng)作、有動(dòng)作遮擋、轉(zhuǎn)身等情況都能穩(wěn)定跟蹤。除了身體軀干動(dòng)作,在手指細(xì)節(jié)上,也能識(shí)別和跟蹤常見(jiàn)的14種手勢(shì)。讓3D虛擬形象能夠更細(xì)膩地復(fù)原人物的動(dòng)作。同樣針對(duì)他人拍攝和自拍兩種拍攝場(chǎng)景,相芯提供全身和半身兩種模式,支持3D人體骨骼數(shù)據(jù)的輸出。

三、人像分割

通過(guò)人像分割的算法接口,可對(duì)輸入的視頻進(jìn)行內(nèi)容理解,將人物進(jìn)行高精分割解析,將人像區(qū)域分離出來(lái),并實(shí)時(shí)追蹤。例如視頻直播過(guò)程中,識(shí)別用戶的人體輪廓,為人物實(shí)時(shí)替換各種背景特效。也可以與各具創(chuàng)意的人體AR貼紙相結(jié)合,讓貼紙實(shí)時(shí)跟隨人體移動(dòng),貼紙素材與人體的前后位置關(guān)系可靈活定義,可以充分發(fā)揮運(yùn)營(yíng)者的互動(dòng)創(chuàng)意,為用戶帶來(lái)更加豐富的娛樂(lè)體驗(yàn)。

四、頭部分割

通過(guò)頭部分割接口,企業(yè)和開(kāi)發(fā)者可以對(duì)人物頭部區(qū)域做更多的特效創(chuàng)意。例如搞笑大頭玩法特效,可以實(shí)現(xiàn)視頻中的人物頭部放大的萌態(tài)效果。這項(xiàng)技術(shù)還能和其他技術(shù)進(jìn)行組合實(shí)現(xiàn)更加新穎的玩法效果。比如將頭部分割和表情系數(shù)結(jié)合,即可用特點(diǎn)的表情,觸發(fā)大頭效果,并用表情的夸張程度來(lái)實(shí)時(shí)控制頭部的放大程度。用頭部分割+哈哈鏡+AR貼紙這樣的技術(shù)組合,就可以實(shí)效惡搞版的效果,充分發(fā)揮腦洞創(chuàng)意。

五、頭發(fā)分割

通過(guò)頭發(fā)分割接口,可以在視頻和照片中人物的頭發(fā)區(qū)域高精度地分離出來(lái),可以給頭發(fā)切換各種各樣的顏色,可以是純色,也可以是漸變色,實(shí)現(xiàn)一鍵換發(fā)色的特效。同時(shí)頭發(fā)的色值支持自定義,并可以進(jìn)行上色程度的調(diào)整,實(shí)現(xiàn)想要的發(fā)色,想換就換。

六、動(dòng)作識(shí)別

相芯科技的動(dòng)作識(shí)別接口,能夠支持15種全身動(dòng)作的識(shí)別。將動(dòng)作識(shí)別和匹配算法相結(jié)合,可以開(kāi)發(fā)出各種體感小游戲,比如“尬舞機(jī)”游戲,跟著屏幕的動(dòng)作提示即可開(kāi)始跳舞了。同時(shí)動(dòng)作識(shí)別也可以與AR貼紙相結(jié)合,用特定動(dòng)作來(lái)觸發(fā)貼紙?zhí)匦?充分發(fā)揮體感互動(dòng)的娛樂(lè)性。

七、手勢(shì)識(shí)別

通過(guò)手勢(shì)識(shí)別接口,可精準(zhǔn)識(shí)別常見(jiàn)的14種手勢(shì)動(dòng)作。在短視頻直播領(lǐng)域,用戶在拍視頻和拍照過(guò)程中,可以通過(guò)手勢(shì)動(dòng)作來(lái)觸發(fā)各種貼紙?zhí)匦?從而衍生出創(chuàng)意視頻的各種玩法。同時(shí),在智能設(shè)備領(lǐng)域,比如智能家電、智能機(jī)器人、可穿戴設(shè)備、智能互動(dòng)大屏等智能硬件,可以實(shí)現(xiàn)用手勢(shì)控制對(duì)應(yīng)的功能。用戶在不接觸設(shè)備的情況下,通過(guò)簡(jiǎn)單的手勢(shì),就能實(shí)現(xiàn)對(duì)設(shè)備的交互和控制,讓人機(jī)交互方式更加智能化、自然化。

相芯科技專注于人工智能和計(jì)算機(jī)圖形學(xué)的融合與創(chuàng)新,致力于為消費(fèi)級(jí)應(yīng)用提供內(nèi)容創(chuàng)作工具、平臺(tái)和解決方案。相芯科技的人臉人體AI解決方案目前已累計(jì)服務(wù)700多家B端客戶,產(chǎn)品被廣泛應(yīng)用于短視頻、直播、社交、游戲、智能家居、在線教育、廣告營(yíng)銷、新零售等領(lǐng)域,月均調(diào)用量達(dá)40億。

此次的人體AI SDK大更新,相芯針對(duì)不同體驗(yàn)需求推出了兩個(gè)版本的體驗(yàn)demo,分別是特效版和算法版demo。

【特效版demo】模擬真實(shí)的用戶應(yīng)用場(chǎng)景,提供技術(shù)的功能演示和體驗(yàn),可以在這個(gè)demo里面直觀體驗(yàn)美顏、美妝、道具貼紙、Animoji、美發(fā)、輕美妝、AR面具、搞笑大頭、海報(bào)換臉、表情識(shí)別、音樂(lè)濾鏡、哈哈鏡、美體、全身Avatar、動(dòng)作識(shí)別、人像分割、手勢(shì)識(shí)別等功能。

同時(shí)針對(duì)開(kāi)發(fā)者用戶,為了能更好地體驗(yàn)各個(gè)功能接口在算法層的效果,相芯全新推出【算法版demo】,使用這個(gè)demo就能直觀地看到各種人體關(guān)鍵點(diǎn)、人體骨骼、mask類功能的算法效果,便于進(jìn)一步開(kāi)發(fā)使用。目前開(kāi)放的接口為2D人體關(guān)鍵點(diǎn)、3D人體骨骼、人像分割、頭部分割、頭發(fā)分割、動(dòng)作識(shí)別、手勢(shì)識(shí)別。