æ“š(jù)外媒Venturebeatå ±(bà o)é“,F(xià n)acebookã€å–¬æ²»äºžç†å·¥å¸(xué)院和俄勒岡州立大å¸(xué)çš„ç ”ç©¶äººå“¡åœ¨æœ¬å‘¨ç™¼(fÄ)表的一篇é (yù)å°æœ¬è«–æ–‡ä¸ï¼Œæè¿°äº†äººå·¥æ™ºèƒ½çš„ä¸€é …(xià ng)新任務(wù)——通éŽ(guò)è½(tÄ«ng)自然語(yÇ”)言的指令,在3Dç’°(huán)境ä¸å°Ž(dÇŽo)航(例如,“走下大廳,在木桌æ—左轉(zhuÇŽn)â€ï¼‰ã€‚他們說(shuÅ),這å¯ä»¥ç‚ºéµå¾ªè‡ªç„¶èªž(yÇ”)言指令的機(jÄ«)å™¨äººåŠ©æ‰‹å¥ å®šåŸºç¤Ž(chÇ”)。
ç ”ç©¶äººå“¡çš„ä»»å‹™(wù),被稱(chÄ“ng)之為在連續(xù)ç’°(huán)境ä¸çš„視覺(jué)和語(yÇ”)言導(dÇŽo)航,是在Facebook的模擬器Habitatä¸é€²(jìn)行的,該模擬器å¯ä»¥è¨“(xùn)ç·´æ©Ÿ(jÄ«)器人助手在模擬真實(shÃ)ç’°(huán)境的環(huán)境ä¸æ“作。直徑為0.2ç±³ã€1.5米高的助手被放置在來(lái)自Matterport3D數(shù)æ“š(jù)集的內(nèi)部,該數(shù)æ“š(jù)集是通éŽ(guò)10800多個(gè)全景圖和相應(yÄ«ng)çš„3D網(wÇŽng)æ ¼æ•ç²çš„90個(gè)ç’°(huán)境的集åˆã€‚
自動(dòng)分æ€æ©Ÿ(jÄ«)器人工作原ç†æ©Ÿ(jÄ«)å™¨äººåŠ©æ‰‹å¿…é ˆåœ¨ä¸€æ¢è·¯å¾‘上åšå››å€‹(gè)å‹•(dòng)作(å‘å‰ç§»å‹•(dòng)0.25米,左轉(zhuÇŽn)或å³è½‰(zhuÇŽn)15度,或åœåœ¨ç›®æ¨™(biÄo)ä½ç½®ï¼‰ä¸çš„一個(gè),并å¸(xué)會(huì)é¿å…被困在障礙物上,比如椅å和桌å上。
ç ”ç©¶å°çµ„將這些環(huán)境æç…‰æˆ4475æ¢ç”±4到6個(gè)節(jié)點(diÇŽn)組æˆçš„軌跡,這些軌跡å°(duì)應(yÄ«ng)于在å„個(gè)ä½ç½®æ‹æ”çš„360度全景圖åƒï¼Œé¡¯ç¤ºäº†å°Ž(dÇŽo)航能力。
物æµåˆ†æ€æ©Ÿ(jÄ«)器人logo視覺(jué)分æ€æ©Ÿ(jÄ«)器人原ç†ä»–們用這個(gè)訓(xùn)練兩個(gè)人工智能模型:一個(gè)sequence-to-sequence模型,該模型由采å–視覺(jué)觀察和指令表示的ç–略組æˆï¼Œå¹¶ä½¿ç”¨å®ƒå€‘é (yù)測(cè)一個(gè)å‹•(dòng)作;å¦ä¸€å€‹(gè)是兩個(gè)網(wÇŽng)絡(luò)交å‰æ¨¡å¼æ³¨æ„模型,該模型跟蹤觀察çµ(jié)æžœï¼Œå¹¶æ ¹æ“š(jù)指令和特å¾åšå‡ºæ±ºç–。
ç ”ç©¶äººå“¡è¡¨ç¤ºï¼Œåœ¨å¯¦(shÃ)é©—(yà n)ä¸ï¼Œè¡¨ç¾(xià n)最好的機(jÄ«)器人å¯ä»¥éµå¾ªâ€œå‘å·¦æ‹ï¼Œé€²(jìn)入走廊â€ä¹‹é¡ž(lèi)的指令,盡管這些指令è¦æ±‚æ©Ÿ(jÄ«)器人在發(fÄ)ç¾(xià n)視覺(jué)路標(biÄo)之å‰è½‰(zhuÇŽn)å‹•(dòng)未知的次數(shù)。事實(shÃ)上,機(jÄ«)器人在看ä¸è¦‹(jià n)çš„ç’°(huán)å¢ƒï¼Œå¤§ç´„ä¸‰åˆ†ä¹‹ä¸€çš„å ´(chÇŽng)景ä¸å°Ž(dÇŽo)航到目標(biÄo)ä½ç½®ï¼Œå¹³å‡é‡‡å–了88次行動(dòng)。
這些機(jÄ«)器人å¶çˆ¾ä¹Ÿæœƒ(huì)å¤±æ•—ï¼Œæ ¹æ“š(jù)åˆè‘—者的說(shuÅ)法,這些失敗通常是由于機(jÄ«)器人在視覺(jué)上丟失了指令ä¸æ到的å°(duì)象。
“至關(guÄn)é‡è¦çš„是,VLN-CE為社å€(qÅ«)æ供了一個(gè)測(cè)試平臺(tái),在這里å¯ä»¥é€²(jìn)è¡Œç ”ç©¶é«˜ç´š(jÃ)和低級(jÃ)控制界é¢çš„這類(lèi)集æˆå¯¦(shÃ)é©—(yà n),â€åˆè‘—者寫(xiÄ›)é“。
è—¥å“分æ€æ©Ÿ(jÄ«)器人Facebook投入了大é‡è³‡æºä¾†(lái)解決自主機(jÄ«)器人導(dÇŽo)航的å•(wèn)題。
åœ¨å…¬å¸ƒäº†ä¸€é …(xià ng)訓(xùn)ç·´å…足機(jÄ«)器人走路的計(jì)劃åŽï¼ŒF(xià n)acebook首次推出了PyRobot,一種用于PyTorchæ©Ÿ(jÄ«)器å¸(xué)ç¿’(xÃ)框架的機(jÄ«)器人框架。2018年,F(xià n)acebook推出了開(kÄi)æºäººå·¥æ™ºèƒ½ï¼Œå¯ä»¥é€šéŽ(guò)360度圖åƒåœ¨ç´ç´„市街é“上導(dÇŽo)航。最近,F(xià n)acebook的一個(gè)團(tuán)隊(duì)發(fÄ)表了一篇論文,æ述了一個(gè)通éŽ(guò)è§€çœ‹è¦–é »å¸(xué)ç¿’(xÃ)如何在辦公室里走動(dòng)的系統(tÇ’ng)。
分æ€æ©Ÿ(jÄ«)器人圖片分æ€æ©Ÿ(jÄ«)器人怎么é¸è³¼(gòu)å¿«éžåˆ†æ€æ©Ÿ(jÄ«)器人有什么用