【這個局我佈了三年】從兩份專利⽂件， 看Amazon Go如何變成讓收銀員哭哭的超市

TechOrange科技報橘

2016/12/07

報告⼈：侯貫中

破壞式創新(1/2)

Amazon Go令⼈驚豔的地⽅，就是你可以直直⾛進超市，選好貨品之後⽴⾺離開，不⽤在收銀台前排長長的隊伍，等待結帳。

科技報橘

TechOrange

甚至還莫名有⼀種從商店「搶劫」的快感。

移動⽀付顛覆了既有商品交易⽅式，那麼這種「搶劫式」的 Amazon Go 甚至連「交易感」都消滅了。

科技報橘

TechOrange破壞式創新(2/2)

⽤⼾進入商店，穿過感應器的時候打開⼿機讓其偵測，這時⼿機裡的系統啟動，並隨時準備更新物品清單。

在⽤⼾拿⾛或放回物品的⼀瞬間，⼿機裡的系統會⾃動更新清單。

最後，⽤⼾拿著物品滿意地離開，⼿機⾃動扣款。

科技報橘

TechOrange亮點

科技報橘

TechOrange技術

深度學習

演算法感應器的結合

視覺辨識

科技報橘

TechOrange爆料

Brian Roemmele

偵測物體互動和移動 物品從置物設備上的轉移

2013專利⽂件 2014專利⽂件

這兩份專利說了什麼︖偵測物體互動和移動 (Detecting item interaction and movement)

⽤⼾從⼀個貨架上拿起或放下⼀個物品，貨物管理系統可以偵測到這個動作，並且更新⽤⼾移動設備裡的清單。

物品從置物設備上的轉移 (Transitioning items from the materials handling facility)

物品被識別，並且當⽤⼾正在拿起物品時，物品⾃動與⽤⼾發⽣關聯。當⽤⼾進入或穿過⼀個轉移區(Transition Area)，被拿起的物品將⾃動轉移到⽤⼾，⽽不需要⽤⼾有任何的輸入。

影⽚ vs 原型 科技報橘

TechOrange

科技報橘

TechOrange分析(1/2)Quora 網友 Anurag Ranjan 是⼀位視覺辨識和深度學習領域的準 PhD，他分析稱：

Amazon Go 使⽤商店裡的攝影鏡頭識別出了⽤⼾，可能針對⽤⼾拍了幾張照⽚，依靠⼀些標準的深度學習網路形成了⼀幅特徵圖，比如 Resnet、GoogLeNet 或者 VGG 這樣的。當⽤⼾踏進店裡的那⼀刻起，Amazon Go 就知道⽤⼾長什麼樣了。

根據專利和既有經驗來看， 在整個過程中⽤視覺辨識來追踪⽤⼾，代價太⾼了。

我們⼤致可以確定的是，貨架上的⼀排排攝影鏡頭應該就是對⽤⼾進⾏「 動作識別 」，並且識別出物體是否被拿⾛。

不過整個過程中的難點是，如何將物品與⽤⼾進⾏唯⼀綁定︖

科技報橘

TechOrange分析(2/2)雲從科技⾼級算法⼯程師周翔告訴雷鋒網，Amazon Go 具體⽤到哪些技術，⽬前我們只能夠猜測，他提到可能的實現機制是：

通過⼿機做到了精準定位⼈，然後物體的具體位置可以⼤概確定，⼀旦⼈附近的物品離開，同時最近的⼈的 ID 就會關聯這個物品 ID。

置物架肯定⽤到了壓⼒感測器，⼀旦物品離開，就會明確知道什麼物品在什麼地點離開，⼀旦物品回來，壓⼒感測器同樣會感應到。 深度學習可能是學習了⼈的購物習慣，可能⽤到視覺辨識做了⼈的動作識別，然後根據物品與⼈的 ID 進⾏關聯，也就是⼆次確認。同時分析⼀個⼈的購物喜好，推測他會買的東西，提前做⼀些預判。

國外對⼈的隱私權是比較⾼的 未經允許採集他⼈的⼈臉會被起訴的

科技報橘

TechOrange挑戰不過這種技術究竟有多少「可⾏性」，還是存在很多的疑惑的，例如：

• 如果好幾個⼈擠到⼀起買同⼀類東西（比如商場打折搶貨，這是經常發⽣的），那麼物品與⼈的 ID 關聯還能保持精準嗎︖

• 如果⽤⼾把商品放回的位置是錯的呢，這樣也會被收費嗎 • 如果有⼈搞怪，將⾃⼰家空果汁瓶取代商店裡的新鮮果汁，

那麼 Amazon Go 識別的出來嗎︖

Thank you for your listening

科技報橘

TechOrange參考⽂獻• 【這個局我佈了三年】從兩份專利⽂件，看 Amazon Go 如何變

成讓收銀員哭哭的超市https://buzzorange.com/techorange/2016/12/07/amazon-go/

• Amazon GO帶來的壞消息與好消息http://www.bnext.com.tw/article/42266/good-and-bad-news-about-amazon-go

Thank you for your listening