作者：BrianDipert，嵌入式視覺同盟；YvesLegrand，飛思卡爾半導(dǎo)體；BruceTannenbaum，MathWorks公司
為了讓機(jī)器人更好天與其周圍的事物停止互動(dòng)，并靈巧天挪動(dòng)，機(jī)器人必需可能看到并鑒識(shí)其周圍的情況。經(jīng)濟(jì)高效且功能強(qiáng)大的視覺處理器（經(jīng)由過程深度鑒識(shí)圖象傳感器停止數(shù)據(jù)傳輸，并采取極具魯棒性的軟件算法）正在使人們盼望已久的自順應(yīng)機(jī)器人成為理想。
機(jī)器人，這一長時(shí)間呈現(xiàn)正在科幻世界跟航運(yùn)產(chǎn)物文檔中的事物，被描寫為可能資助人類從機(jī)器、枯燥跟難以忍受的事情中釋放出來，并應(yīng)用其高速度及高精度的特色晉升事情后果。無論是可實(shí)現(xiàn)吸塵、地毯蕩滌，以至排水溝的干凈事情的第一代自立花費(fèi)機(jī)器人體系，或是多種類型的出產(chǎn)情況下機(jī)器人的利用正不休增加，皆可以解釋上述概念。
然而第一代消費(fèi)類機(jī)器人采取了絕對(duì)粗拙的計(jì)劃去定位并感知其周圍環(huán)境。這些根本技巧包羅由紅外線發(fā)射器構(gòu)成的天然壁壘，它可與內(nèi)置在機(jī)器人傍邊的紅外線傳感器停止協(xié)作，從而防備機(jī)器人從樓梯上滾下或浪蕩到另一個(gè)房間。當(dāng)自立機(jī)器人碰到了不成挪動(dòng)的物體時(shí)，震撼傳感器可告訴機(jī)器人，讓機(jī)器人不再繼續(xù)前進(jìn)。而更進(jìn)步前輩的畫圖功能設(shè)計(jì)以至讓機(jī)器人沒必要再次返回這個(gè)特別的地位。與人類的事情方法比擬，機(jī)器人的事情沒必要思量膂力因素、加倍快速，而且加倍精確，但機(jī)器人勝利的條件是讓去推測(cè)達(dá)流動(dòng)的標(biāo)的目的跟地位，是以晉升了制造流程的復(fù)雜性。來料部件的地位及標(biāo)的目的呈現(xiàn)任何偏離皆將招致拆卸的失利。
為什么制造分揀機(jī)器人人類用眼睛跟大腦對(duì)其周圍的世界停止辨識(shí)跟定位。從實(shí)際上講，采取攝像頭組件、視覺處理器跟各類軟件算法的機(jī)器人體系也該當(dāng)可以做到。但縱觀汗青，如許的圖象剖析技巧平常只有正在龐大而且高貴的體系中才氣找到。但數(shù)字集成電路正在本錢、機(jī)能跟功耗方面的先進(jìn)，為視覺功用利用正在多樣化跟高容量的使用上攤平了途徑，此中包羅機(jī)器人實(shí)現(xiàn)的功用愈來愈多。雖然機(jī)器人正在功用實(shí)現(xiàn)方面依然面對(duì)著諸多應(yīng)戰(zhàn)，但與以往比擬，明天曾經(jīng)可以加倍輕松、快捷、經(jīng)濟(jì)高效天辦理這些問題。
軟件技術(shù)
開辟出可依據(jù)視覺適應(yīng)其情況的機(jī)器人體系須要采取電腦視覺算法，該算法可將一個(gè)或多個(gè)圖象傳感器中的數(shù)據(jù)轉(zhuǎn)換成該情況的可履行信息。機(jī)器人的兩個(gè)罕見使命離別是辨認(rèn)內(nèi)部方針跟標(biāo)的目的，并決意機(jī)器人的地位跟標(biāo)的目的。許多機(jī)器人可與一個(gè)或多個(gè)特定方針停止互動(dòng)。關(guān)于情境自順應(yīng)機(jī)器人而言，必需可能檢測(cè)到那些正在未知地址跟標(biāo)的目的的方針，而且還要相識(shí)到這些方針很能夠會(huì)挪動(dòng)。
攝像頭每秒發(fā)生上百萬像素的數(shù)據(jù)，從而造成了一個(gè)肩負(fù)著繁重處置懲罰承擔(dān)的有效載荷。辦理該問題的一種罕見方式是檢測(cè)這些多像素的特點(diǎn)，如視頻數(shù)據(jù)每一幀的角、面、邊或線。
圖2：完全處置懲罰二維或三維機(jī)器人視覺傳感器的原始輸出波及四個(gè)次要階段，每一個(gè)階段皆有本人的獨(dú)特性并受其處置懲罰要求的制約。
這類像素到特點(diǎn)的轉(zhuǎn)換可以使正在視覺處置懲罰管道的這個(gè)特別階段的數(shù)據(jù)處理需要降低一千倍或更多；上百萬的像素降低成了上百個(gè)特點(diǎn)，機(jī)器人便可以高效天對(duì)方針停止辨認(rèn)，并肯定其空間特點(diǎn)。
圖3：視覺處理器可以集成多種類型的內(nèi)核，以知足每一個(gè)處置懲罰階段的怪異需要。
方針檢測(cè)起首包羅采取機(jī)械學(xué)習(xí)或其他算法與多個(gè)特點(diǎn)相結(jié)合。然后，經(jīng)由過程應(yīng)用這些特點(diǎn)的數(shù)據(jù)庫（該數(shù)據(jù)庫依據(jù)特定方針正在分歧角度跟標(biāo)的目的的大批已收羅圖象天生），用戶可以采取分類器算法運(yùn)轉(zhuǎn)并鍛煉機(jī)器人精確天辨認(rèn)每一個(gè)新方針。最著名的方針檢測(cè)算法之一是Viola-Jonesframework，它采取類Haar的特點(diǎn)跟大批Adaboost分類器。該算法十分擅長于辨認(rèn)面部，也可經(jīng)過訓(xùn)練去辨認(rèn)其他罕見方針。而基于機(jī)械學(xué)習(xí)算法的一大缺陷是：他們須要大批的鍛煉數(shù)據(jù)散，才氣精確天檢測(cè)方針。
經(jīng)由過程特點(diǎn)去肯定方針方位須要一種像RANSAC那樣的基于統(tǒng)計(jì)的算法。該算法采取一組特點(diǎn)去模擬一個(gè)潛伏的方針標(biāo)的目的，然后肯定幾其他特點(diǎn)得當(dāng)該模子。存在最大數(shù)目婚配特點(diǎn)的模子對(duì)應(yīng)于被精確辨認(rèn)的方針標(biāo)的目的。為了檢測(cè)挪動(dòng)方針，用戶可以將特點(diǎn)辨認(rèn)與跟蹤算法相結(jié)合。一旦一組特點(diǎn)精確天辨認(rèn)了一個(gè)方針，KLT（Kanade-Lucas-Tomasi）或卡爾曼濾波等算法將正在視頻的幀之間跟蹤這些特點(diǎn)的運(yùn)動(dòng)軌跡。不管標(biāo)的目的跟梗阻若何轉(zhuǎn)變，這些技巧皆是十分靠得住的，由于他們僅須要跟蹤一組最初特點(diǎn)便可勝利。
下面所述算法能夠關(guān)于固定式機(jī)器人來講充足了。但關(guān)于移動(dòng)機(jī)器人來講，借須要采取其他算法才氣使機(jī)器人正在其情況中平安天挪動(dòng)。SLAM是一種可使機(jī)器人創(chuàng)立情況輿圖并跟蹤其以后地位的算法。這類算法須要繪制三維情況輿圖。因?yàn)橛性S多深度感到傳感器選件；是以罕見的方式是采取一對(duì)被設(shè)置成“平面”攝像頭的2D攝像頭，其作用近似于人類視覺體系。
平面攝像頭依賴對(duì)極多少，采取一對(duì)2D圖象的投射為每一個(gè)場(chǎng)景內(nèi)的每一個(gè)面供給3D地位。依據(jù)后面2D概念所提到的，特點(diǎn)可用于檢測(cè)3D場(chǎng)景中的無效地位。例如，與平整的墻面比擬，機(jī)器人更簡單檢測(cè)到桌角的地位。正在給定的地位跟標(biāo)的目的，機(jī)器人可以檢測(cè)特點(diǎn)，經(jīng)由過程比力其外部輿圖以肯定其地位并改善輿圖質(zhì)量。思量到方針時(shí)常會(huì)挪動(dòng)，是以靜態(tài)輿圖關(guān)于試圖順應(yīng)其情況的機(jī)器人來講，用途沒有年夜。
處理器的取舍
為了無效天打造出機(jī)器人視覺，咱們將所需的處置懲罰步調(diào)分為若干階段。特殊是咱們后面所探討的算法，其處置懲罰步調(diào)可分為4個(gè)階段，依據(jù)處置懲罰要求，每一個(gè)階段皆存在怪異的特點(diǎn)與限定。市場(chǎng)中充溢著各種類型的視覺處理器，而且分歧類型的視覺處理器（依據(jù)其機(jī)能、功耗、本錢、功用靈活性跟其他因素）能夠得當(dāng)分歧的算法處置懲罰階段。實(shí)際上，視覺處理器芯片能夠集成了多個(gè)分歧類型的處理器內(nèi)核，從而知足多個(gè)處置懲罰階段的怪異需要。
自動(dòng)分揀機(jī)器人倉庫a
圖4：視覺處理器芯片能夠集成了多個(gè)分歧類型的處理器內(nèi)核，從而知足多個(gè)處置懲罰階段的怪異需要
第一個(gè)處置懲罰階段包括多種可處置懲罰各類傳感器數(shù)據(jù)處理功用的算法，例如：
●調(diào)劑巨細(xì)
●色采空間轉(zhuǎn)換
●圖象扭轉(zhuǎn)跟翻轉(zhuǎn)
●來隔行
●色采調(diào)劑跟色域映射
●伽瑪校訂，
●對(duì)比度加強(qiáng)
正在此階段，每一幀內(nèi)的每一個(gè)像素皆會(huì)停止處置懲罰，是以每秒的工作量皆是極大的。正在平面圖像處理時(shí)，兩個(gè)圖象立體必需同時(shí)停止處置懲罰。面向這些操縱的此中一個(gè)處置懲罰選項(xiàng)為公用硬件時(shí)鐘，有時(shí)又被稱為IPU。比來推出的視覺處理器可正在不變的幀速度下同時(shí)處置懲罰兩個(gè)圖象，每一個(gè)圖象的分辨率皆高達(dá)2048x1536像素。
第二個(gè)處置懲罰階段將停止特點(diǎn)檢測(cè)，正在那一階段，角、邊跟其他顯著圖形區(qū)域?qū)?huì)被提取。這個(gè)處置懲罰階段仍正在每一個(gè)像素的根底上停止，是以非常適合那些高度并行的架構(gòu)，但那一階段可處置懲罰加倍龐大的數(shù)學(xué)函數(shù)，如一階跟二階導(dǎo)數(shù)。DSP、FPGA、GPU、IPU跟APU皆是常用處置懲罰選項(xiàng)。DSP跟FPGA存在高度的靈活性，是以十分合用于那些沒有成熟跟正在開展的使用。與其他方式比擬，該靈活性雖然帶來了更下的機(jī)能，但也帶來更多的功耗跟本錢。
正在靈活性/專用性比最高的取舍是公用IPU或APU，他們特殊合用于視覺處置懲罰使命。它每秒可處置懲罰數(shù)十億的操縱，但因?yàn)轭嵞┦褂脙?yōu)化，它并沒有得當(dāng)更普遍的功用。靈活性/專用性較為調(diào)和的是GPU，GPU過來經(jīng)常呈現(xiàn)正在電腦中，而此刻也嵌入到使用正在智能手機(jī)、平板電腦跟其他大批量使用的使用處理器中。
智能分揀機(jī)器人購買浮點(diǎn)單位計(jì)較、SURF（用于快捷顯著面檢測(cè)的快捷魯棒特點(diǎn)算法）中的描述符計(jì)較跟點(diǎn)云處置懲罰皆十分合用于高度并行的GPU架構(gòu)。這類算法可運(yùn)轉(zhuǎn)正在SIMD矢量處置懲罰引擎（如ARM的NEON或功率架構(gòu)CPU中的AltiVec功能模塊）上。無論如何，包羅OpenCL跟OpenCV在內(nèi)的架構(gòu)跟庫，皆可簡化并放慢軟件開發(fā)，借能夠包羅正在多個(gè)內(nèi)核上對(duì)一個(gè)使命的各個(gè)部門停止分派的才能。
正在第三個(gè)圖像處理階段，體系將依據(jù)特點(diǎn)圖對(duì)方針停止分類。與之前階段基于像素的處置懲罰方式比擬，這些方針檢測(cè)算法以高度非線性的布局跟方法停止數(shù)據(jù)接見。然而，仍需采取壯大的處置懲罰“機(jī)制”經(jīng)由過程豐碩的分類數(shù)據(jù)庫去評(píng)價(jià)多種不同的特性。這類需要非常適合單核跟多核傳統(tǒng)處理器，如基于ARM跟Power架構(gòu)的RISC設(shè)備。這類取舍尺度也一樣合用于第四個(gè)圖形處理階段，該階段將經(jīng)由過程多幀跟蹤檢測(cè)方針、實(shí)行該情況的模塊，并依據(jù)各類情況去評(píng)價(jià)是不是該當(dāng)實(shí)行舉措。鑒于視覺處置懲罰的數(shù)據(jù)密集型屬性，當(dāng)評(píng)價(jià)處理器時(shí)，用戶不只應(yīng)評(píng)價(jià)內(nèi)核數(shù)目跟每核速率，還應(yīng)評(píng)價(jià)每一個(gè)處理器的數(shù)據(jù)處理才能，如內(nèi)部存儲(chǔ)器總線帶寬。
行業(yè)同盟救濟(jì)
因?yàn)槭袌?chǎng)上呈現(xiàn)了機(jī)能日漸壯大的處理器、圖象傳感器、存儲(chǔ)器跟其他半導(dǎo)體器件，加上極具魯棒性的算法，將計(jì)算機(jī)視覺功用整合到普遍的嵌入式體系中變得切實(shí)可行。正在這里，“嵌入式體系”指的是基于微處理器的一切體系，而不是一臺(tái)通用計(jì)算機(jī)。是以，嵌入式視覺是指正在嵌入式體系、挪動(dòng)設(shè)備、公用電腦跟云中參加計(jì)算機(jī)視覺技巧。
嵌入式視覺技巧有潛力撐持大批電子產(chǎn)品，比之前更智能、更敏銳，因此對(duì)用戶更有代價(jià)。它可以向現(xiàn)有產(chǎn)物增添有用的功用。它可以為硬件、軟件跟半導(dǎo)體的制造商們創(chuàng)始有重大意義的新市場(chǎng)。嵌入式視覺同盟（EmbeddedVisionAlliance）是一個(gè)由技巧開發(fā)人員跟提供商構(gòu)成的全球性組織，致力于使工程師可能將這類潛力轉(zhuǎn)化為理想。
快遞分揀機(jī)器人生產(chǎn)廠家分揀機(jī)器人設(shè)計(jì)說明閃兔分揀機(jī)器人