Amazon Go 從推出到現(xiàn)在已過(guò)去四個(gè)月，這期間，國(guó)內(nèi)不少傳統(tǒng)零售商和創(chuàng)業(yè)者受到影響，開(kāi)始試水搭建無(wú)人零售商店。但由于對(duì)技術(shù)和工程細(xì)節(jié)不熟悉，往往無(wú)從下手。
無(wú)人零售除了應(yīng)用到計(jì)算機(jī)視覺(jué)等 AI 技術(shù)外，還涉及到大規(guī)模的傳感器和智能設(shè)備，是一個(gè)復(fù)雜且龐大的項(xiàng)目。雷鋒網(wǎng)了解到，雖然已經(jīng)有人分享了對(duì)無(wú)人零售商店的原理解讀，但大多只講述了粗略的實(shí)現(xiàn)方式，沒(méi)有深入到細(xì)節(jié)。
為此，無(wú)人零售商店創(chuàng)業(yè)者陳維龍（微信：daoyuan3），通過(guò)講述基于 Amazon Go 原理為主的無(wú)人零售商店項(xiàng)目來(lái)幫大家解答疑問(wèn)。
一、無(wú)人零售的核心問(wèn)題
陳維龍?zhí)岬?，要打?/font> Amazon Go 這樣的無(wú)人零售商店最核心的是要解決“什么商品被誰(shuí)怎么處理了”這個(gè)問(wèn)題，需要處理的因素有5個(gè)：人、人的位置、商品、商品的位置、動(dòng)作。
動(dòng)作主要是通過(guò)商品與手或貨架的狀態(tài)來(lái)識(shí)別的，例如手進(jìn)入或退出貨架的手勢(shì)、物品在手的狀態(tài)識(shí)別拿取或放回商品。
商品識(shí)別主要是通過(guò)初始狀態(tài)的選擇，中間狀態(tài)通過(guò)購(gòu)物清單核對(duì)來(lái)縮小識(shí)別范圍，降低難度，同時(shí)通過(guò)雇員保證初始狀態(tài)不被破壞。
位置主要通過(guò)手機(jī)定位、傳感器定位和圖片定位，利用人體姿態(tài)識(shí)別可以很好的將動(dòng)作定位到人。
Amazon Go 的便利性來(lái)自將商品核對(duì)和收銀權(quán)利從收銀員下發(fā)給每個(gè)顧客的每次購(gòu)物行為中。收銀員的工作對(duì)顧客而言是集中式串行處理——所有顧客都要到一個(gè)指定地方一次性確認(rèn)購(gòu)物行為，需要等待收銀員的空閑。
而 Amazon Go 對(duì)顧客而言是分布式并行處理——顧客每次購(gòu)物行為都會(huì)在發(fā)生地被系統(tǒng)處理、記錄，且每個(gè)用戶(hù)都不占用系統(tǒng)時(shí)間。
二、“怎么處理”如何定義和表示？
陳維龍舉了個(gè)非形象動(dòng)的例子：對(duì)于超市而言，商品存在兩種狀態(tài)——賣(mài)掉或沒(méi)賣(mài)掉；對(duì)貨架而言，商品的狀態(tài)是在或不在；對(duì)顧客而言，商品的狀態(tài)是買(mǎi)或不買(mǎi)；對(duì)人的手而言，商品的狀態(tài)是在手或不在手，進(jìn)一步簡(jiǎn)化成拿起或放回。
它們的關(guān)系鏈如下表：
如果顧客想買(mǎi)商品，必須經(jīng)歷商品拿起、在手的狀態(tài)，相對(duì)應(yīng)的，貨架上的商品不在架。
同理，顧客不買(mǎi)商品，必須經(jīng)歷商品放回、不在手狀態(tài)，相對(duì)應(yīng)的，貨架上的商品在架。
還有一種情況，顧客不買(mǎi)商品，不經(jīng)歷拿起放回等階段，這種情況不用處理，因?yàn)槭裁炊紱](méi)有發(fā)生。
那么如何表示或測(cè)量這兩種狀態(tài)呢？用相機(jī)和傳感器都可以表示該狀態(tài)。
1.相機(jī)如何處理
“在手進(jìn)入貨架拿取商品前和拿取商品后，對(duì)手拍攝 1 組圖片，記為第一圖片和第二圖片，對(duì)貨架拍攝 1 組圖片，記為第三圖片和第四圖片。比較第一圖片和第二圖片的差異，此時(shí)需要利用到 CV 算法識(shí)別出膚色找到手，從而知道第一和第二圖片手勢(shì)的差異，識(shí)別握姿和舒展姿態(tài)，根據(jù)兩個(gè)姿態(tài)在第一第二圖片出現(xiàn)的順序可以判斷拿取還是放回。例如，第一圖片是握姿，第二圖片是舒展，即放回；第一圖片是舒展，第二圖片是握姿，即拿取。”陳維龍對(duì)相機(jī)的處理流程做了個(gè)非常細(xì)致的闡述。
隨后他繼續(xù)解釋到：利用膚色找到手后，再識(shí)別第一第二圖片手邊緣的色差識(shí)別商品是否在手，根據(jù)前后順序可以判斷拿取或放回。例如，第一圖片手邊緣色差較淺，表示沒(méi)有商品，第二圖片手邊緣色差較深，表示有商品，即商品在手且是拿取過(guò)程。放回同理。
利用第三第四圖片，對(duì)貨架進(jìn)行處理，同樣可以判斷拿取或放回。例如第四圖片比第三圖片多了一個(gè)或多個(gè)商品，那么就是放回；如果第四圖片比第三圖片少一個(gè)或多個(gè)商品就是拿取。
2.傳感器如何處理
對(duì)重力傳感器來(lái)說(shuō)，商品被拿取，商品減少，重量減少；商品被放回，商品增加，重量增加。所以重量數(shù)值變化可以表示拿取或放回。
對(duì)于紅外來(lái)說(shuō)，在特定地方，商品被放回，紅外會(huì)被遮擋，商品被拿取，紅外不會(huì)被遮擋?？梢酝ㄟ^(guò)紅外遮擋狀態(tài)表示拿取或放回。
三、如何有效識(shí)別商品？
商品的識(shí)別應(yīng)該是難度最大的關(guān)鍵點(diǎn)之一。
一般來(lái)說(shuō)超市商品品類(lèi) 1000 種到 10 萬(wàn)種不等，在真實(shí)且可能被破壞的環(huán)境下要識(shí)別如此多類(lèi)商品幾乎不可能。
陳維龍指出，在初始狀態(tài)，特定品類(lèi)的商品被放在特定位置，由相機(jī)和傳感器偵測(cè)。對(duì)相機(jī)和傳感器而言，它們只需優(yōu)先識(shí)別少數(shù)且特定的商品類(lèi)及數(shù)量。這個(gè)相對(duì)而言是簡(jiǎn)單的。即使圖片無(wú)法識(shí)別，也可以根據(jù)重量識(shí)別和篩查。在品類(lèi)擺放的時(shí)候可以選擇易區(qū)分的品類(lèi)擺放一起，所有被拿取的商品記錄在顧客的購(gòu)物清單里。
困難在中間狀態(tài)。由于顧客放回會(huì)破壞初始狀態(tài)，導(dǎo)致識(shí)別難度急劇上升。因?yàn)轭櫩涂赡芊呕厝我馍唐罚陨唐返淖R(shí)別范圍又?jǐn)U大到無(wú)法解決的情況。
先討論放回后的最終狀態(tài)，一般分成 2 種：放回正確或錯(cuò)誤。
對(duì)于放回正確，識(shí)別難度在初始狀態(tài)的水平。
對(duì)于放回錯(cuò)誤，存在 3 種情況：放回錯(cuò)誤但可識(shí)別；放回錯(cuò)誤無(wú)法識(shí)別；放回錯(cuò)誤且識(shí)別錯(cuò)誤。
放回錯(cuò)誤但可識(shí)別的情況是因?yàn)樯唐繁旧硪淄ㄟ^(guò)圖像和重量識(shí)別，此種情況較少。大多數(shù)情況是放回錯(cuò)誤且無(wú)法識(shí)別或識(shí)別錯(cuò)誤。放回錯(cuò)誤且無(wú)法識(shí)別的情況可以給用戶(hù)發(fā)送消息，讓用戶(hù)確認(rèn)。識(shí)別錯(cuò)誤的情況只能提高算法精度，同時(shí)調(diào)整判斷極限值，將部分識(shí)別錯(cuò)誤的情況向無(wú)法識(shí)別裝換，同時(shí)及時(shí)通知雇員來(lái)整理回到初始狀態(tài)。
一般而言拿取商品后放回的情況較多，且不放回正確的位置情況也不少，其中放回錯(cuò)誤且無(wú)法識(shí)別或識(shí)別錯(cuò)誤又占大多數(shù)，放回錯(cuò)誤但可識(shí)別是少數(shù)?？偟膩?lái)說(shuō)無(wú)法識(shí)別和誤判比例不容忽視，甚至導(dǎo)致整個(gè)系統(tǒng)無(wú)法工作。
剛才說(shuō)到，由于顧客放回商品，導(dǎo)致識(shí)別范圍擴(kuò)大到所有商品，這是可以部分解決的。因?yàn)樯唐返拿看畏呕囟际腔陬櫩偷那?/font> N 次拿取，他放回的商品必須是之前拿取的商品，所以?xún)?yōu)先識(shí)別顧客的購(gòu)物清單即可，在這種情況下，識(shí)別難度又回到初始狀態(tài)相當(dāng)?shù)乃健?/span>
陳維龍總結(jié)到：
在初始狀態(tài)（拿?。?，商品的識(shí)別范圍是特定的少數(shù)種類(lèi)，大概不超過(guò) 5 種，通過(guò)圖片和重量篩查是比較容易識(shí)別的。通過(guò)前期品類(lèi)選擇和擺放，可以使初始狀態(tài)更加容易識(shí)別。在中間狀態(tài)（放回），通過(guò)索引顧客購(gòu)物清單，可以將識(shí)別范圍縮小到清單上特定的商品，識(shí)別難度較初始狀態(tài)不會(huì)急劇增加，在可處理范圍內(nèi)。在最終狀態(tài)，由于放回識(shí)別的不準(zhǔn)確性，導(dǎo)致最終狀態(tài)偏離初始狀態(tài)，每次放回都會(huì)導(dǎo)致偏離初始狀態(tài)，最終導(dǎo)致崩潰。但是因?yàn)榉呕刈R(shí)別難度不是很大，這種偏離出現(xiàn)較少，或者可以接受，不會(huì)導(dǎo)致長(zhǎng)期偏離最后崩潰的情況。再加上及時(shí)通知雇員前來(lái)整理，可以糾正偏差。
四、如何知道動(dòng)作發(fā)起者的身份？
將商品記錄到動(dòng)作的發(fā)起者身上是一件較為復(fù)雜的工程。
陳維龍介紹到，識(shí)別人大體通過(guò) 2 種方式：身體特征或附帶物，例如人臉和手機(jī)。人臉識(shí)別的精度在室內(nèi)還在可接受范圍，幾乎可以當(dāng)做唯一標(biāo)識(shí)。手機(jī)也是一個(gè)人的唯一標(biāo)識(shí)，通過(guò)判斷是誰(shuí)的手機(jī)從而判斷顧客是誰(shuí)。
“被誰(shuí)”里面隱含了一個(gè)因素：位置。要證實(shí)商品被誰(shuí)拿走或小張被小陳打了，前提是商品和顧客的位置要匹配。
五、如何匹配顧客 ID 與商品 ID？
要匹配顧客和商品的 ID，首先要確定人和商品的定位。
關(guān)于人的定位，可以用到追蹤系統(tǒng)。手機(jī)的 GPS、wifi、藍(lán)牙也可以提供較準(zhǔn)確豐富的位置信息。
關(guān)于商品的定位，紅外、重量感應(yīng)、相機(jī)、商品和貨架初始的問(wèn)題都是已知的，可以推測(cè)出來(lái)。例如，通過(guò)隔板，將同類(lèi)商品分在不同的網(wǎng)格種，每個(gè)網(wǎng)格對(duì)應(yīng)不同的紅外或重量感應(yīng)器，可以知道被拿取或放回商品的位置。
通過(guò)人和商品的位置匹配，連接了“什么商品”“被誰(shuí)”兩個(gè)因素。
因?yàn)槌杀竞图夹g(shù)問(wèn)題，位置精度是一個(gè)很大的問(wèn)題，再加上這個(gè)定位人和商品位置的方案本身的缺陷，顧客和商品的匹配誤差較大。例如，顧客 A 站在商品 A 前，顧客 B 站在商品 B 前，顧客 A 伸手去拿商品 B，這種情況系統(tǒng)是無(wú)法準(zhǔn)確判斷的。當(dāng)然可以由顧客確認(rèn)，但是這僅僅是無(wú)力的補(bǔ)救措施。
之前有人提到過(guò) Amazon Go 可能利用多角度的完整的人體姿態(tài)識(shí)別來(lái)定位匹配人—動(dòng)作—商品的關(guān)系。這種方法的關(guān)鍵是攝像頭需要很好的視野和足夠的攝像頭。從宣傳視頻來(lái)看， Amazon Go 的貨架設(shè)計(jì)使得最低層和中間層是無(wú)法獲取足夠好的視野，可能的解決方式是依靠對(duì)面貨架和天花板的攝像頭。Amazon Go 的貨架構(gòu)造非常重要，只要再提供一份貨架結(jié)構(gòu)圖或者實(shí)物圖就可以進(jìn)一步推測(cè)實(shí)施方案。貨架結(jié)構(gòu)包括是否每層都有設(shè)想頭，承載商品的承重面的形狀及尺寸，特殊開(kāi)口和螺絲位置等。
總結(jié)
通過(guò)上述方法，難度沒(méi)有憑空想象的難，但是工程量不小。即使動(dòng)作和商品識(shí)別能達(dá)到 100%，因?yàn)槎ㄎ环桨负途葐?wèn)題，導(dǎo)致整體的識(shí)別存在一定的誤差，而使整個(gè)方案無(wú)法使用，或者只能部分依靠顧客協(xié)助實(shí)現(xiàn)。所以 Amazon Go 以及未來(lái)的其他無(wú)人零售店還只能在小部分范圍內(nèi)對(duì)特定人群使用，例如信用度較高的會(huì)員。
陳維龍將無(wú)人收銀分成三個(gè)階段：商品和顧客行為數(shù)據(jù)統(tǒng)計(jì)階段、識(shí)別正常購(gòu)物的無(wú)人收銀階段、識(shí)別作弊的無(wú)人收銀階段。
第一階段比較容易實(shí)現(xiàn)，因?yàn)閮H僅是統(tǒng)計(jì)，顧客不會(huì)存在作弊情況，而且統(tǒng)計(jì)誤差范圍相對(duì)于無(wú)人收銀較大。
第二階段是顧客不作弊的情況下，100% 記錄顧客和商品數(shù)據(jù)，達(dá)到無(wú)人收銀的效果。目前 Amazon Go 處于這個(gè)階段。這個(gè)階段的明顯特征是建立在高素質(zhì)會(huì)員人群中。
第三階段是識(shí)別任意作弊行為，并且準(zhǔn)確統(tǒng)計(jì)。這個(gè)階段超市或零售行業(yè)所以的作弊行為都能被識(shí)破、杜絕，不僅可以實(shí)現(xiàn)無(wú)人收銀，還徹底解決了盜損問(wèn)題。
由于成本和技術(shù)問(wèn)題，陳維龍認(rèn)為達(dá)到第二階段，往第三階段靠近就可以了。例如識(shí)別正常購(gòu)物和行為，特殊情況直接標(biāo)記人工收銀即可。在此基礎(chǔ)上，擴(kuò)大正常購(gòu)物和行為的范圍，縮小特殊情況的范圍，使之對(duì)顧客更友好，更智能。
