酷家乐国际化业务多语言保障实践

酷家乐多语言技术架构

简单描述就是前端代码和后端代码在不同语种情况下,都是通过获取CDN中存储的各类多语言的信息,也就是创建多语言词条会返回一个唯一KEY,这个KEY对应的是各类语种的value,但是由于酷家乐双发到国际化之后,是同一份代码,会导致有一部分中文忘记用词条了,或者后端服务没有用,就导致中文对外漏出。针对于目前国际化多语言的情况,测试团队现有的语言检测只有【接口扫描】

接口扫描流程图

即根据接口中返回是否为中英文以此作为判断,来校验是否包含中文,但是前端的内容大部分文本非接口返回,为词条中获取,以此为背景结合UI自动化对前端文本做中文扫描校验。以下图片中展示的是,22年至23年期间,出现的中文问题,几乎每个月都能出现一次,可以看出国际化的中文问题较多。

为了解决这类高频问题,思考通过别的途径解决该问题。
价值

现状:

  1. 接口扫描所断言的中文信息不全
  2. 扫描缺少交互性:各个业务场景所用到的中文,会根据入参变化。目前是固定参数来获取固定返回
  3. 扫描覆盖度不高,不能完全覆盖各词条

解决的问题:

  1. 全HTML文本:扫描并做检验
  2. 根据用户操作习惯,所见即所得。将用户操作路径中携带交互所产生的文案,获取并检验
  3. 校验接口扫描不能透出的各类词条文案

具体实施方案

流程图:

具体效果

  • 我们假如当前页面是英文的情况下,出现了漏翻译的情况,如下图展示,几乎整片网页全是中文,具体如下
  1. 页面效果:

我们想要的效果是将页面中的文字全部提取出来,然后对中英文做区分。

实现过程:以puppeteer为例,页面每次点击或者对于页面做hover的时候,页面元素都会产生相应变化,那么在页面产生变化的时候,将整个HTML DOM元素获取下来。则会得到一个动态情况下,网页文本情况,具体实现细节:我们获取HTML网页的时候,需要确保整个网页完全加载完了,这里采用【window.performance.timing.loadEventEnd -window.performance.timing.navigationStart】,windows下的方法,可以获取到整个浏览器完全加载完成的时间,减去网页刚开始加载的时间,获取到一个时间差,如果大于0则认为当前网页已经完全加载完。

然后通过:document.documentElement.innerHTML。方法获取整个网页的内容,最终存储在本地。

通过传入的元素,对getHtml再做一层封装,hover也类似,最终hover和click都具备网页爬取的能力。

分析HTML的逻辑是通过beautifulSoap的python标准库来进行扫描,通过将HTML内的中文提取出来,然后通过中文的Unicode的编码区间,来判断当前页面中是否有英文。

最终通过部署在远程机器的python脚本每天分析一次,将测试结果以邮件的形式推送出来。

最终报告:

最终得到的结果:截止2023-11-9  为起始时间至今( 2024-2-20  ) 共扫描103次,非测试数据中文数:10个总共发现中文数:52次网络原因导致错误数:4次测试数据导致中文数:46次

后续的展望:

  1. 和现有的平台做聚合网页巡检平台做配合,这样就可以脱离UI自动化代码,不需要人为去维护,只需要配置网页的URL自动去扒取网页中的文本,具体做法

我们网页巡检已经具备的能力:
从图中可以看到,当前网页如果存在A标签的话,会根据所设定的巡检层数来进行递归,例如当前巡检层数设置为3,网页有5个A标签,此时会将5个页面全部扫出来,5个网页继续打开,直到递归到第三层就算结束,但是由于此平台检测的能力只有3个

  • console报错:浏览器F12控制台看到的Error类型内容
  • 接口报错:状态码非200和非304的接口,响应内容中c!=0的接口
  • 配置错误:外网网站配置了内网域名(需要开启“是否外网url巡检”开关)

2. AI扫描

我们目前只能做最基础的中文文本检测,但是我们是否能根据大模型的能力来进行扫描,目前调研的结果是可以的,以市面上常见的chatgpt就能将翻译后的英文,语义、错别字、等等都能一一扫描出,我们可以将python脚本提取出来的文本,传递给chatgpt从而达到,语言是否有中文,以及语言是否翻译准确了。

总结

多语言的要想做到精准验证接入AI的辅助必然是一个趋势,不然扫描出来的文本无法得到准确性,以及正确性的验证。团队内其他重复测试场景且现阶段无法做到自动化的还有很多,例如白标(简单理解白标的含义,各商家的logo是否包含特定酷家乐的标识)这类图标有各类长短分辨率大小不一的图片,要做到批量验证,也需要借助AI的能力,后续我们将提供更多的AI结合自动化的探索!