零基础打造全屋智能控制系统 篇四十:AI加持的扫地机究竟值不值——石头T7 Pro扫地机全解析
创作立场声明:因为
近几年来,以LDS激光雷达导航为主的扫地机器人进入了千家万户,被大家称为买了就“后悔”,后悔买晚了的神器。包括我自己,之前一直在使用石头S5扫地机,该机在我家累计打扫了2万9千㎡,清扫了736次。直到前些日子换了T7,也把它接入了开源智能家居系统,实现了一周只加一次水,清理一次尘盒。就能保证全屋地面整洁,有兴趣可以点击下文连接:
虽然尘盒和水箱一周只要动一次,但是使用扫地机清扫,每天出门前必做的一件事件就是快速扫览一圈地面,因为家里的地面上通常会潜伏着各种扫地机杀手:
1.数据线
掉落在地上的USB充电线可以说是对扫地机危害最大的地面异物了,一不小心就会被卷入主刷,对主刷,吸尘口造成损害,当然,数据线也可能因此报废。我总共被扫地机损坏了2根数据线,一个主刷,S5吸尘口软胶也因此破损。并且这也是家里最常见的地面异物,虽然一直很注意,但是偶尔还是会发生充完电后,充电线掉落在地上,出门时忘了检查,或是没检查到的情况,
2.织物,绳索
其实绳索与数据线的危害类似,但是由于两头不太会像数据线那样有硬物,所以对扫地机的损伤相对比较小,不过我是发生过一次绳子卷上边刷,废了一个边刷的事故。除此以外,椅子上不小心滑落的衣服腰带也被卷入过一次,幸好卷完腰带之后扫地机就自己停了,不然搞不好衣服也会被毁。
甚至我的扫地机还拆过一个帐篷……
3.袜子
这个主要是个人习惯不好,特别夏天的时候经常回家坐哪就把袜子随手脱了扔地上,不过因为袜子比较厚,卷入的可能性比较小,偶尔卷入主刷扫地机就会报错停止,不会造成经济损失。不过还有种可能是会推着脏袜子到处跑,推到角落里后找不到。
4.拖鞋/鞋
这张照片是我客卫洗衣区域的实景图,都是被扫地机从门口玄关推过来的拖鞋,日常自己穿的到家找不到会找下,剩下的这些都是不常用的,个人也懒得收拾,于是沿着洗衣机,台盆柜给排了一溜,并且大家也可以看到,好几只都是不成双的,那是因为它的另一半被扫地机推到了其他地方……当然,还有个问题就是家里领导有些高跟鞋比较贵,扫地机撞上去会把皮面撞坏,或是边刷在沿墙高速运动的时候会扫到皮面,留下痕迹。所以对于这类鞋,我都是在出门前把他们放到柜子里或是高处。
除了这些以外,如果家里有宠物的话,更可怕的是排泄物,如果真有意外发生,那就是屎糊一地的末日灾难……
说到这里,可能没用过扫地机的朋友会问,既然可能发生那么多意外,那为什么还要用扫地机呢?这里我只能回答,真的是省心省力啊,现在我家地面人工清扫一年都不会超过两次,但是每天都能光脚踩。而被虐多次之后,每天早上出门前花十几秒看一眼地面收拾下之后,意外的次数也是难得一见了。
当然,用户碰到的问题,扫地机器人厂商肯定也全都清楚,所以在避障这个问题上,厂家也一直在提升。首先是LDS激光雷达自己本身就有障碍感知能力,所以在遇到较大的障碍物时,他都会先减速,然后等碰撞传感器的反应,要是碰撞传感器不被触发,那么他就继续清扫,要是发生碰撞,他就转向。不过LDS激光雷达因为本身有一定的高度,所以对比较矮或者细小的物体是没有感知能力的。所以在此基础上,扫地机器人会附加各种传感器来感知前方的障碍物,通常使用的是红外/超声波传感器,其实作为智能家居玩家,我也经常使用这类传感器来做自动化处理,例如常用的高精度红外距离传感器:
我用它来检测沙发上有没有人,以此来控制落地灯的自动开关。而扫地机上通常将它放在侧边做沿墙传感器,让扫地机能够沿墙打扫,但不会碰到墙:
而超声波传感器,我之前放在办公桌上,用来检测人是不是在办公桌前,自动开启台灯:
而一代小米和352 X95都把它装在正前方,用来感知扫地机前方的障碍物:
但是无论红外还是超声波,除了受物体颜色材质反射影响外,最大的问题依然是细小物体无法识别,也就是对扫地机杀伤力最大的诸如充电线,绳子一类的物体,它是检测不到的。所以在今年上半年,科沃斯推出了一款T8 POWER/MAX 扫地机器人,使用了结构光来进行避障:
关于这台机器的评测有很多,大家感兴趣可以搜来看一下,可以说初看之下是相当惊艳的,凭借着强大的结构光,科沃斯T8 POWER/MAX几乎能避开所有的障碍。但是这里要说的是,没有选择的避障是一把双刃剑,躲避的越多也就意味着清扫的越少。只要检测到前方有障碍我就躲,甚至连窗帘也要躲着走。如果像我家娃那样地上摊了一堆玩具的话,T8 POWER/MAX大概只会看上一眼,然后扭头就走了,而没有结构光避障的机器大约会是把积木都推到清扫区域边缘。所以虽然表面上看使用结构光能够完美的避障,但是所有的都避还不如不避,我自己手动清理下地面的物件再打扫还显得更方便,毕竟谁家都不会每天都有一堆充电线,脏袜子丢在地上。那么有没有什么技术,可以做到既能检测到障碍,又能对障碍进行检测识别,来判断是否需要躲避呢?答案就是AI物体识别。
其实在去年我就写过一篇原创,来展示利用摄像头+深度学习识别厨房有没有人,来对厨房的灯光进行自动化控制:
同理,如果给扫地机器人加上摄像头,然后通过深度学习来获得AI能力,就可以让扫地机器人来识别清扫过程中遇到的种种障碍了。但是光能识别物品对于扫地机器人来说还不够,因为扫地机器人是在运动的,就算我知道我正前方有一团充电线,但是怎么判断充电线离我有多远,我该在什么时候停下,这是第一个问题。还有紧接着的第二个问题就是算力,在我的文章中,我运行yolo检测,即使再优化,再精简,在树莓派上分析一张图片用时仍需要1.1秒,1.1秒对于关灯控制来说可以忽略不计,但是对于行进中的机器人来说就太慢了,万一一个转身之后就是不能碰撞的障碍物,这1.1秒的计算时间足以让机器人直接撞上去。所以扫地机器人的AI识物和迅速识别闪避应该怎么做呢?下面就一起来看看石头T7 pro交给我们的答案:
一、石头T7pro与T7有什么不同
从外观上看,除了颜色,T7 pro与T7最大的不同就是机器正前方的双目摄像头了:
在首次拆封前,摄像头前贴纸特别提醒AI算法是直接在机器上进行图像物体识别,不会上传云端。并且T7pro也通过了德国莱茵安全隐私认证,保证了用户的隐私安全。要知道,对于AI是否可用起决定性作用的是其模型,而模型的获得是要通过海量图片进行训练的,简单的说,要让AI识别出袜子,就要给他一大堆各种形状,各种颜色,花式,以及在不同地面和不同背景的袜子图片,让机器自己去找这些图片有什么共通点并标识,之后再遇见有这些标识的物品是,AI就能知道这是袜子。所以模型训练的前提是海量图片,而获取成本最低,且最贴合实际的来源其实是用户,所以之前T7pro的评测文里有人发问说这些训练的图片哪来的,难不成是他们员工拍的么,而在几个月前T7 pro刚上市的时候,我也和他们的员工交流过,除了找图库购买以外,确实石头的员工有回家拍摄训练用图片的工作任务。
T7 pro的双目摄像头是由一个主摄像头和一个副摄像头构成,拥有500W像素,其中主摄成像为AI识别提供画面,而副摄则是和主摄结合,通过三角函数来生成距离信息,这就解决了之前提出的第一个问题,如何判断距离。所以有评测说遮住左侧摄像头,T7pro仍能识别出物品,但从实际动图看,其虽然识别出了具体物品,但因为景深信息的缺失,其避障会近乎完全失效,所以出现了物品仍旧被推动的情况。并且机器还自带有红外LED补光来保证机器在暗处的图像采集。
而除此之外,两者的外观特征是完全一样的,所有T7配件都是一样可互换的。
而因为双目摄像头的加入,石头T7pro使用的算法也与T7不同,在T7 RR Mason™ 7.0的基础上升级为RR Mason™ 7.0 3D。双目摄像头除了AI识别,测距外,还参与SLAM定位与建图。这里就涉及到之前提到的另一个问题了——算力。如果需要AI能够更快的对图像识别,就需要强大的算力支持,石头为T7 pro配备了APQ8053 IOT专用SOC,除了8核A53架构之外,还带有高通骁龙神经处理引擎(SNPE),提供更快的神经网络推理。
所以T7 pro的图像识别速度可以达到260ms/次,可以对摄像头采集的图像进行快速识别后进行避让。目前T7 Pro能够识别的物品有电线团、插线板、鞋子、吧台椅底座、风扇底座、体重秤、织物等。随着OTA升级还会支持更多可识别物体。
因为T7 pro的其他诸如电控大水箱,多层地图等功能与T7相同,大家如果想了解的话可以翻阅我之前的文章(连接在文章头部),这里仅仅展示AI物体识别避障。
二、AI识物避障实测
首先,我是在家里没人的情况下连续扫了两次,来看看两次的对比:
两次清扫的面积相同,但是两次的识别物品明细却有所不同,首先是玄关和客卫的各类鞋,两次打扫均能准确识别,不过因为机器邻近图像识别结果相同的只保留一个,所以实际图片数要小于识别数:
虽然很多显示为未知障碍物,但实际说明中却有物件的详细描述,应该是识别结果的可能性不够高,所以未标明物品种类,但仍进行了避让。而两次均避让了,但是同一物品识别结果不同的是厨房的拖把:
第一次识别为拖线板,第二次应该是鞋子。当然,拖把本身就没有在可识别物品种类中,仔细观察,可以发现两次照片除了角度不同外,实际上拖把的位置也有所变化,应该是扫地机对它进行了碰撞产生了位移,至于为什么识别了之后还会碰撞,接下去的文章中会详细说明。
主卧的风扇底座和体重秤均识别正确,但是两次的角度不同,观察地图应该是路线不同导致的。
在第一次清扫时,还识别出了套内卫生间的儿童马桶架,两个脚一个识别成了鞋子(还挺像),一个识别成了排泄物(这是怎么看的),但是在第二次清扫时没有被识别。
而第二次清扫时,也识别出了些第一次没有被识别的物件,上两张是娃的玩具水桶,猜测第一次是靠墙放的,被推至了走道中间,所以第二次被识别了。而织物这个位置就算不避让扫地机也进不去(仔细看可以看到扫地机长久打扫的边刷痕迹),而最后一张被认为体重秤的实际是窗帘后的一个拖鞋。从图像和高度上将其判断为体重秤也没毛病。并且也可以看到这两张图全部都是在暗光环境下用红外补光灯补光后拍摄的,还是非常清晰的。
虽然两次打扫识别的物品种类和数量有所差异,但是整体上对于拖鞋,织物类物体识别的还是比较准确的,不过因为地面上确实没有什么有“杀伤力”的物件,所以进行下面的测试。
1.USB线缆测试
测试用的是一根40pin的充电线。说实话,之前看网上对比评T7 pro有吃线现象,所以我还是有些担心,所以找了一根废线,这样即使坏了也不心疼,不过测试下来避障效果非常不错,可以看到扫地机在距离线缆10-20cm的地方就开始减速,然后有个倒退的动作,之后再往前运动到距离线缆5cm左右的区域开始延线缆外围打扫。整个避障过程非常流畅,扫地机与线缆始终保持一定距离,没有任何的触碰。
而在测试T7 pro时,我也观察到相对于T7,T7pro倒退的动作会更多,而相同情况下,T7则还是原地转向为主,相信这个也是双目视觉RR Mason™ 7.0 3D算法带来的进化。清扫地图如下:
AI将充电线识别为线团。当然,这里又出现了未知障碍物的标题,至于为什么,我在几轮测试之后想明白了。这里留点悬念。
2.插线板测试
插线板在避障上效果没有那么好,虽然扫地机同样有意识的在躲避,但是左右两侧的躲避距离都不够,导致插线板产生了位移。清扫地图如下:
可以看到机器人AI只识别到了线缆,没有识别到插线板本体,不过既然识别到了,为啥画面右侧的插头还是有碰到,个人估计是那段线贴着地面,又是单根,所以AI直接给忽略了。这时我又有了个新想法因为家里地板是接近黑色的,如果线缆也是黑色,当没有足够反差时,线缆是不是能够被识别呢?
结果如我猜测的一样,在主体与背景色过于接近,没有形成足够反差时,AI并不能很好的识别出物品,不过在第一次触碰时,扫地机有一个非常明显的减速动作,之后发现似乎物品可以被推动,就加速直接碾压了……
为了证实我关于反差的推论,所以我将同一个变压器放在厨房浅色地面上进行了一次测试:
发现这次扫地机如同第一次充电线测试时一样,远远的就对变压器进行了躲避行为:
并且识别率也相当的高,同理,如果深色地面上的深色物品识别率不高的话,那么浅色地面上的浅色物体识别率又如何呢?所以我又将插线板放到了厨房进行测试:
大家可以看到,对于浅色地面上的浅色插线板,扫地机的识别和避让也依然很成功:
并且分别识别除了线团和插线板两个物体进行了标注,所以我大胆的猜测,T7 pro的训练大多是建立在浅色或者中灰度色调的地面上进行的,深色地面的样本相对少,在像我家这样深色地面上进行识别时,即使同一物体识别准确率也会下降,甚至物品和背景反差不够时还会漏识别。
3.织物/袜子
首先进行的是袜子的测试:
可以看到除了第一次路过的时候扫地机外壳擦碰了下袜子外,之后就再也没有碰到过袜子,避障非常成功,并且第一次路过时扫地机还有一个明显的减速动作:
除了袜子之外,我还拿女儿的艾莎公主头巾做了测试,毕竟袜子虽然种类颜色繁多,但是外观还是比较接近的,而头巾这类物体就比较随意了。
虽然避障效果不如袜子,开始时触碰下头巾,但是仍旧是不错的。
以上物品都是对扫地机具有强大杀伤力的地面常见物,可以看到T7 Pro的表现还是非常令人满意的,接着我们来看看那些不太有杀伤力的物件。
4.鞋子
可以看到鞋子的识别率还是非常高的,不过我还是提升了下难度,找了双全黑的高跟鞋:
可以发现,虽然扫地机识别了物体并且进行了避让,但是因为之前说的,因为图像反差不够大,所以扫地机对物体边缘的识别有误差,导致在清扫过程中碰触了鞋子。而如果同样一双鞋子,放在浅色地面上的表现是怎么样的呢?
可以看到T7 pro向我们展示了一次完美的AI避障清扫。
5.体重秤/风扇底座
其实这类物品说实话对扫地机是没有什么杀伤力的,不过可能会发生的情况是扫地机直接骑上去,然后卡在上面,中断清扫,所以T7 Pro对这类物品也具有识别躲避能力:
从地图上看,扫地机是完美识别了横在清扫区域物件的类型,并且做了躲避处理的,但是从动图看,扫地机确是不停的在碰撞体重秤和风扇底座,这是为什么呢?这其实取决于T7pro在对物品进行识别之后的避让策略,说简单点,就是如何在不会产生意外的情况下,尽可能的清扫更多的区域:
在官方宣传图上,鞋子的避障距离为1cm,因为鞋子外形规整离得近也不会有危险,撞到了最多也就是移位。而线团的避障距离为5cm则是因为线团外观不规则,扁平的线还可能存在识别不到的风险,并且一旦卷入可能会缠绕主刷或是边刷发生意外,所以要离得远点,而体重秤,风扇底座之前也说了,是几乎无害的,只要不骑上去把自己架空就行,所以延边逆时针碰撞,用边刷将底座和电子秤下的灰尘都清理干净,毕竟要是回家上磅发现秤边上一圈灰尘谁也不会高兴是吧。以上这些都是在T7 pro可识别类别内的物品,可以看到T7pro的表现基本是符合预期的,但是全面解析,自然就不能只说好的,不说不好的吧,所以测试继续。
6.塑料袋
可以看到,扫地在到扫到塑料袋前会进行减速,但是依旧前行,不会绕开或停止,这说明机器已经看到了塑料袋,但是针对真的完全不能识别的物件,处理方式只是减速打扫。
7.玩具
恐龙玩具,可以看到初始的策略是与塑料袋相同,但是因为恐龙玩具比较重,在扫地机减速后惯性减小,在推动过程中会触发碰撞传感器,而传感器一旦触发,扫地机就会转向避开障碍物,沿着障碍物周边继续尝试前行清扫,直至整个区域被打扫干净。
8.其他物品
这里找了个笔筒进行测试:
发现清扫策略与恐龙是一致的,首先是发现障碍物就减速,然后试着去推,要是推得动就继续往前,推不动就让开。当然,对于石头没有双目避障的机器,对待大的障碍物也是同样的一种策略,AI双目的提升在于能够识别更小的障碍物。
三、即时避障能力测试(宠物模式)
说实话,本来这篇文章差不多到这里就结束了,不过因为偶然在测试过程中扫地机器人回充的时候女儿突然跑到扫地机前,扫地机立刻就停止,然后绕道,接着女儿就和扫地机玩起了捉迷藏的游戏,让我陷入了更深层次的思考,因为许多对比测试都是将T7 pro和竞品放一起,然后清扫时往机器前面扔个障碍物,其他品牌的机器躲过去了,但是T7 pro则是义无反顾的冲了过去。得出的结论是T7pro不会避障。但是根据娃和T7pro的“捉迷藏”游戏来看,T7 pro应该是具有“即时”避障能力的,于是我就又做了以下测试。
首先是清扫过程中,人突然站到扫地机器人行进路线上:
扫地机直接朝我撞了过来,真跟想象的不太一样,所以我决定重现回充过程中站到扫地机前面:
扫地机很轻易的进行了躲闪,人还是比较大的,所以我先是拿了刚才AI测试避障失败的笔筒来测试:
扫地机也能够躲闪,接着就是其他KOL测试中常用的数据线了:
大家可以很惊讶的发现,T7 Pro对这些物品都能非常即时的进行闪避,也就是说它具有即时识别正前方突然出现的障碍物并即时闪避的能力,但是在清扫模式下,扫地机并不会去使用这个功能。其实关于这一点,稍微想一下也能明白,T7 pro即使是面对固定的不可识别障碍物,也会试着去碰撞看看能不能推动,别说你突然出现的了,而且突然会出现的一般都是活物,你既然看到我在打扫了,你理应让我,而不是让我来让你啊,不要去打扰和影响别人工作应该是整个社会的共识。所以关于这一点T7 Pro的处理似乎没毛病。而在打扫完成后回充时,扫地机就不需要再去考虑要把没清理的地面清理的任务,只需要回到充电座就行,所以这时如果出现障碍,那就绕到,只要能回去。不得不说,石头的这个策略真的是一根筋,清扫的时候只关注清扫,不管是啥,都不能阻挡我扫地,而回充的时候只管回去,遇啥躲啥,只要我能回去。但是虽然无论大人小孩,都知道不要去挡扫地机器人,但是要是家里养的猫猫狗狗啥的宠物,应该是不会知道这道理的,猫狗还好,被撞到了会跑开,要是养了个乌龟呢?其实在第一次使用T7 pro的时候,APP会询问家里是不是有宠物:
开始我想当然的以为这个功能应该是针对排泄物识别加强的,但是现在看来,可能是将清扫过程中即时避障的功能打开,于是试着将其打开,继续测试:
效果是立竿见影,再放个笔筒试试:
咦,但是和预想的不太一样,扫地机还是触碰了笔筒,但是与之前不同的是,机器还是去撞了下笔筒,但是在没有触发碰撞传感器的时候就转向了,而之前未开宠物模式的时候则是一路推着笔筒跑:
暂且不去管它,让我们继续试下线团:
在宠物模式下,石头机器人展现了一定的即时避障能力,但是像是线团,在关闭宠物模式时有时也能识别,所以我也比较难猜测对于突然出现的线团的躲避是AI起的作用还是宠物模式起的作用,或者两者兼有,但是笔筒的测试可以肯定的是在未触发碰撞传感器的前提下,扫地机选择绕开一定是宠物模式的作用。不过与回充过程中直接避开不同,在多次测试中面对笔筒类不在可识别类别中的物体,扫地机几乎是100%会去碰下的,这说明即使开了宠物模式,扫地机清扫的优先级仍大于躲避。大概意思就是我撞你下看看你走不走,如果你走,我就扫下去,你不走,那就我走,而没有开宠物模式时则是一定要触发了碰撞传感器才会绕道。虽然动图展示的是即时避障成功的范例,但实际使用中,还是会出现一定几率的碰撞。并且在多次测试中发现,即使不开宠物模式,对于出现的可识别类物体(线团、袜子等),扫地机仍然有一定几率进行避让,这也证实了AI的检测几乎是实时的。当然,还是那句话,家里实际打扫的时候几乎不可能有什么东西从天而降,落在扫地机前方。
四、总结
其实大家对于石头扫地机还是比较了解的,像是T7,T6等传统LDS扫地机器人在本站的评测晒单有很多,但是针对其旗舰T7 Pro的评测却很少,而一些对比评测也写的语焉不详,所以趁着本文着重针对T7 Pro的双目摄像头以及RR Mason™ 7.0 3D的AI算法进行详细评测,比较幸运的是通过详细测试也发现了一些其他文章不曾提及的内容部分。总的来说,石头T7 Pro的AI双目识别是符合预期,也符合目前AI应用现状水平,即使对于我来说,这并不是什么“黑科技”,但着实也提升了扫地机器人的使用体验,偶尔地上遗留有一些充电线啥的,T7pro大概率都能自动避开,虽然在测试过程中发现其对深色地面的训练有所不足导致识别率会稍差,但就这点是非常容易通过OTA升级训练模型来改善的。就在移动设备上而言,这样的识别率应该属于80分以上的水准,要想再获得大幅提升的话,只能期待soc和加速芯片的发展了。如果是新购扫地机的话,我自己是比较推荐的,因为双11的2999差不多是历史新低了。不过这里要提醒的是,虽然测试下来石头T7 pro的AI识别率不低,但是因为各家环境,扫地机器人行走的路径,物体被摄像头捕捉的角度都会影响到最终的AI识别结果,并不能保证100%避开,所以即使使用T7 Pro也应保持地面的整洁,特别是对扫地机有巨大“杀伤力”的物件还是不要出现在地面为好。最后为大家奉上购买链接:
王老汉地幸福生活
校验提示文案
铭记1106
校验提示文案
海上大王
校验提示文案
星汉西流
校验提示文案
呆萌的呆呆
校验提示文案
a1a3017
校验提示文案
a1a3017
校验提示文案
王老汉地幸福生活
校验提示文案
呆萌的呆呆
校验提示文案
星汉西流
校验提示文案
海上大王
校验提示文案
铭记1106
校验提示文案