当前位置:首页 > 闲鱼技术 > 正文内容

AI赋能一键自动检测:页面异常、控件异常、文本异常

xianyu3年前 (2021-03-06)闲鱼技术246

作者:闲鱼技术-镇雷

微信号:pps688888
添加微信, 免费测试软件
复制微信号

1.前言

闲鱼质量团队一直致力于交付高质量的app给用户,当前随着AI技术不断发展,TensorFlow大热,也给测试手段带来了更多种可能,本文接下来给大家介绍AI在闲鱼测试的一点实践:如何应用AI技术通过图片找bug。

2.模型选型

不需要理解业务就能发现的bug主要有整体页面空白、部分控件显示异常和文本异常这几类。对于整体空白图片,发现它们的共同特征是比较明显:大面积空白或者中心区域报错,所以选择使用TensorFlow搭建的简单CNN模型来识别正常图片和异常图片。对于文本异常这类包含乱码的图片,则是用OCR+LSTM建立了一个简单的汉字识别模型来识别图片中的文本内容后判断是否存在乱码。
训练以上模型的样本则来源于bug历史截图和mock的正向数据样本。

3.模型重训练——提高模型识别准确率

流程图.png

初始模型在训练时样本有限,但随着app不停更新迭代,图片检测样本数量的逐渐增多,会出现某些新页面被错误分类,要解决这类误报问题,亟需加入模型重训练。
显然靠人肉启动模型重训练并替换旧模型成本太高,所以在前端实现了个勾选图片去重训练的入口,通过Jenkins定时任务,读取所有重训练图片并执行重训练脚本,并把旧模型替换成新生成的即可。经过几轮自动迭代后模型识别准确率有大幅提升。

4.图片处理——提升结果的人工甄别效率

4.1特殊截图

特殊图片.png

有些截图可能是存在大面积空白,但从业务角度上来说这类图片是正确的,比如搜索中间页。此类若不处理,每次都会被识别为异常图片上报,浪费大家check的时间,若放入模型进行重训练又有导致模型不收敛的风险。为了解决这类图片,维护了一个图库,对模型识别为异常的图片,会与图库中的图片进行对比,如果与图库中任意一张相似度超过设定阈值,即认为该图片可被忽略不用上报。

4.2图片去重

目前遍历截图任务为了保证页面上所有元素都取到,单次遍历任务会至少访问同一个页面两次;同时遍历时,为了方便页面上下文分析,会对点击元素用红框标记。这带来了一个问题:待识别图片集中,同一个页面会有多张重复截图、且同一页面上可能会在不同的地方有红框标记。人工检验大量重复图片识别结果难免视觉疲劳,所以展示去重后的结果可以大大提升人工甄别效率,减少成本。

4.2.1解决办法

图片数量大,且不确定这次遍历截图了多少不同页面时,可以使用层次聚类算法解决这个问题。本文采用的是自底向上的聚类方法,即先将每一张截图分别看成一个簇,然后找出距离最小的两个簇进行合并,不断重复到预期簇或者满足其他终止条件。

4.2.2实现[2]

1)计算图片之间的距离

先将图片转换成w*h*3维向量,把向量间的欧式距离作为图片之间的距离,图片越相似,距离越小。

一次app遍历得到的n张图片要完成聚类,先单张图片按照上述处理后,再整体拼接成 n*(w*h*3)的矩阵,做为样本集。

2)计算簇之间距离的方法

single:两个簇中距离最近的两个样本的距离作为这簇间的距离
complete:两个簇中距离最远的两个样本的距离作为这簇间的距离
average:两个簇间样本两两距离的平均值决定,解决个别异常样本对结果对影响,但计算量比较大
ward:离差平方和,计算公式较复杂,要想了解具体计算公式和其他计算方法见计算簇之间距离的方法。
通过尝试后发现ward效果比较好,所以最终选用ward作为计算簇之间距离的方法。

执行上述语句后,聚类完成。

3)临界距离选择

该值直接影响聚类的效果,临界距离过小,会导致某些相似图片不能聚集到一类,临界距离过大,又会导致不是同一个页面的图片聚在一起,所以如何选一个合适的距离非常重要。
实验发现,如果图片被页面异常模型识别为异常图片时,往往这类图片之间的相似性越高,为了不错误聚类不同的异常页面,分别对识别为异常和正常的图片进行聚类,并且异常类的临界距离会设置更小一点。

5.总结与展望

图片1.png
图片2.png

目前该工具对整体页面异常的识别效果较好,文本异常的识别准确率也在丰富样本的过程中不断提升。


接下来我们会集成LabelImg工具,用TensorFlow搭建SSD模型来识别控件异常的图片,此外元素/文字布局错乱等问题页面识别、页面操作预期结果识别也在不断尝试中。使用图片处理和错误识别技术,作为质量保证的一种方法,我们会持续探索下去。

<

扫描二维码推送至手机访问。

版权声明:本文由中客网络发布,如需转载请注明出处。

本文链接:http://www.zzzmc.cc/18.html

分享给朋友:

相关文章

闲鱼怎样可以增加商品曝光率让更多人看得到?

闲鱼怎样可以增加商品曝光率让更多人看得到?

  【闲鱼曝光率】闲鱼怎样可以增加商品曝光率让更多人看得到?      2020年11月13日   闲鱼曝光率   78 views   0   如果我们想在休闲中发财,我们需要增加我们的曝光率,因为曝光率是支持商品旅游的基础,我们怎样才能快速增加商品曝光率?事实上,有很多方法可以提高商品暴露率,我将与你们分享我积累的一些方法。   一条中国就是为了保住你原有的商品进行基本信息曝光率,什么是基本问题曝光率呢?基本曝光率就是闲鱼的官方分配给到你的曝光率,那怎么样我们才能保住学生自己的基本曝光率呢?   第一点就是不要违规,比如敏感词不说,不要跟客户...

排名过低,你有过这种烦恼吗?

排名过低,你有过这种烦恼吗?

  排名过低,你有过这种烦恼吗?      2021年01月08日   闲鱼流量   52 views   0   用闲鱼卖东西的卖家相信都会有这种烦恼,那便是排名过低。排名过低会影响什么呢?其实排名过低便意味你的浏览量下降,很少有人能看到你的东西。你所上架的商品无人问津, 商品卖不出去,就没有收入。这对于许多人来说是非常痛苦的。那么为什么会排名过低呢?真正的原因在这儿。   关于排名过低的问题,其实总体上来说就是四个原因。   原因一:你的闲鱼权重下降。在闲鱼上,权重越高,你的浏览量也越高。如果你的权重不高的话,那么你的浏览量就会下降,你的排名...

闲鱼卖不出东西怎么办?总是出单难?

闲鱼卖不出东西怎么办?总是出单难?

  【闲鱼批量上架软件】近年来我国的电子商务发展真的是很快,自从有了网上购物,人们的生活变得更加便利,现在网上购物已经成为我们日常生活中非常重要的一部分,而我国也是网上购物最多的国家,我们对网购的需求很大,这就催生了很多电子商务平台的出现。   但是要说最成功的肯定是电子商务界的巨头---阿里巴巴,其名下的用户依然是超多,就闲鱼而言就有很高的流量。   但是玩的人多了,慢慢商品就也不好卖了,想要卖好商品还要要找一些可靠的方法,闲鱼里面也有很多的学问需要我们去学习。   【闲鱼批量上架软件】1、研究同行流量较高的商品。找出你所发布的宝贝类目中,做的比较好的10个同行,研究他们的...

闲鱼辅助助手有哪些,你真的知道吗?

闲鱼辅助助手有哪些,你真的知道吗?

  闲鱼是一个中国二手闲置交易信息平台,因为没有门槛比较低,很多的年轻人都喜欢用闲鱼,很多人都可以在上面拥有丰富自己的店铺,做一件代发或者进行售卖自己对于商品,那闲鱼卖家可以用一些闲鱼辅助教学助手更好的帮助他们自己公司经营管理店铺。   1.闲鱼流量助手   闲鱼助手是闲鱼平台公司推出的一个企业产品,能够代替人工智能操作,让商家的操作能力变得更加轻松快捷,而且我们所有的操作经过分析检测全部都符合平台的规定,它是一种通过不断循环的删除信息发布流量低的商品,重新发布相关产品,从而得到提升他们自己的流量,也可以实现自动识别违规词语,避免网络平台检测违规封号或者降权,系统还会自动控制优化你...

通过闲鱼鱼塘引流的方法!!

通过闲鱼鱼塘引流的方法!!

  【闲鱼批量上架软件】提起闲鱼里的引流,相信小伙伴们都有自己的方法技巧,但是不知道大家都注意到鱼塘这个隐藏的“大咖”没有,鱼塘我想不需要小编多解释,他是有很多对于一类项目感兴趣的人,而组成的一个类似于,贴吧群之类的,那么自然而然,这里面潜在的流量也就不言而喻了,那不知道大家,使用各种流量技巧时,有没有注意到鱼塘的引流技巧呢?今天小编就总结了一些关于鱼塘引流的小技巧,一起来看看吧!   我们知道,自从今年三月份之后,闲鱼的鱼塘对所有人开放了,但是,这也不代表所有的人都可以搭建鱼塘,那么当我们不具备搭建鱼塘的条件时,我们该通过哪些方法来引流呢?第一就是要加入一些大的鱼塘,尽量选择一些一线,...

如何更容易地从价格差中获得利润?

如何更容易地从价格差中获得利润?

  网上学习怎么卖东西赚钱?相信我们很多中国人在朋友圈或者在各种卖货平台里经常能够看到别人在发一些企业商品,在卖货赚钱。对于自己喜欢通过分享发展的人一般来说,也想去做,也想买卖东西赚钱。那么在哪里工作可以像他们都是一样卖货赚钱?其实闲鱼就是个不错的选择不同地方,想要在闲鱼混下去,就要学生学会怎么赚取差价。   从闲鱼平台的表征:闲置商品交易平台,可以看出这是一个人人都可以参与,转售才能赚钱的平台。 所以没有门槛和技能要求,更谈不上引流营销什么的。 非常适合小白手。 因为在现代生活中,很多人去淘宝鱼买东西可能很便宜。 而且鱼上有很多新的或90%的新东西,很多种类,便宜,你可以找到你想要的商...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。