在QQ音樂(lè),輸入“點(diǎn)擊搜索”,操作機(jī)器自動(dòng)執(zhí)行進(jìn)入到搜索界面,點(diǎn)擊搜索音樂(lè)到輸入框,輸入“周杰倫”,點(diǎn)擊“說(shuō)好不哭”

Testin云測(cè)總裁徐琨在NCTS中國(guó)云測(cè)試峰會(huì)上用自然語(yǔ)言在iTestin上現(xiàn)場(chǎng)演示AI+測(cè)試的真正能力,只需在界面中輸入點(diǎn)擊、等待、檢查、長(zhǎng)按、輸入等自然語(yǔ)言的文字描述,后臺(tái)的AI就能準(zhǔn)確實(shí)時(shí)的在真機(jī)上進(jìn)行完整無(wú)誤的操作和相關(guān)指令。

2. OCR文字識(shí)別:實(shí)現(xiàn)跨平臺(tái)腳本能力,降低腳本維護(hù)成本

目前大部分應(yīng)用為了Android端和iOS端的體驗(yàn)一致,會(huì)傾向在兩個(gè)端上采用相同的UI設(shè)計(jì),即相同的UI界面和操作體驗(yàn)。企業(yè)希望減少對(duì)腳本維護(hù)的人力投入,同時(shí)在后續(xù)新增腳本時(shí),逐步將Android端和iOS端的腳本統(tǒng)一為一套腳本,這樣進(jìn)一步減少腳本維護(hù)的投入。Testin云測(cè)通過(guò)只依賴(lài)UI界面截圖的OCR和圖標(biāo)識(shí)別技術(shù),使得Android端和iOS端使用同一套UI自動(dòng)化測(cè)試腳本成為可能,實(shí)現(xiàn)跨平臺(tái)腳本能力,大大降低腳本維護(hù)成本。

在對(duì)OCR的檢測(cè)和識(shí)別模型進(jìn)行訓(xùn)練時(shí),數(shù)據(jù)是最關(guān)鍵的輸入,而且數(shù)據(jù)的精準(zhǔn)度和多樣性,對(duì)模型的精準(zhǔn)度和泛能力起到?jīng)Q定性作用。Testin云測(cè)擁有自身多年積累的應(yīng)用測(cè)試數(shù)據(jù),OCR訓(xùn)練數(shù)據(jù)量達(dá)1600萬(wàn),并且具有專(zhuān)業(yè)的AI數(shù)據(jù)采集與標(biāo)注團(tuán)隊(duì)對(duì)數(shù)據(jù)進(jìn)行處理。

3.圖標(biāo)識(shí)別技術(shù):進(jìn)一步提升用戶(hù)體驗(yàn)和自動(dòng)化測(cè)試穩(wěn)定性

在應(yīng)用的UI自動(dòng)化測(cè)試中,除了文字,圖標(biāo)是另外一個(gè)與用戶(hù)交互最多的元素。在傳統(tǒng)的自動(dòng)化測(cè)試中,圖標(biāo)的識(shí)別主要靠控件ID和其他的控件信息,如class,xpath等,但這些信息在自動(dòng)化測(cè)試實(shí)踐中被證明存在較大的不可靠性。因此,Testin云測(cè)的自動(dòng)化測(cè)試主要從圖像的角度來(lái)識(shí)別和定位控件元素。

圖標(biāo)識(shí)別技術(shù)是除OCR以外,另外一項(xiàng)支撐Testin云測(cè)自動(dòng)化測(cè)試的關(guān)鍵技術(shù)。目前大部分應(yīng)用采用簡(jiǎn)約設(shè)計(jì)的線條形圖標(biāo),導(dǎo)致原本可靠的模板匹配和特征點(diǎn)匹配技術(shù)失效。在實(shí)際測(cè)試中,現(xiàn)有最好的圖標(biāo)識(shí)別技術(shù),正樣本的準(zhǔn)確率只有66.87%,負(fù)樣本準(zhǔn)確率為91.16%,單個(gè)圖標(biāo)識(shí)別耗時(shí)為1532ms。Testin云測(cè)對(duì)簡(jiǎn)約設(shè)計(jì)的線條圖標(biāo)的識(shí)別,專(zhuān)門(mén)設(shè)計(jì)了圖標(biāo)相似度判別算法,大大提高了圖標(biāo)識(shí)別的準(zhǔn)確率和對(duì)正負(fù)樣本的分辨能力,最終的正負(fù)樣本準(zhǔn)確率在測(cè)試數(shù)據(jù)集上都超過(guò)了97%,單個(gè)圖標(biāo)識(shí)別平均耗時(shí)為319ms,實(shí)現(xiàn)了業(yè)界領(lǐng)先的識(shí)別精度和性能。

此外,Testin云測(cè)利用自身的數(shù)據(jù)積累的優(yōu)勢(shì),對(duì)應(yīng)用上的常用圖標(biāo)利用深度學(xué)習(xí)目標(biāo)檢測(cè)技術(shù)實(shí)現(xiàn)自動(dòng)識(shí)別和定位,進(jìn)一步提升了用戶(hù)體驗(yàn)和自動(dòng)化測(cè)試的穩(wěn)定性。

結(jié)語(yǔ)

從信息化、數(shù)字化到智能化,互聯(lián)網(wǎng)作為IT能力的載體,很大程度上正在改變IT技術(shù)的研發(fā)趨勢(shì)和應(yīng)用模式,重構(gòu)整個(gè)人類(lèi)社會(huì)的商業(yè)體系。新技術(shù)和新商業(yè)模式的涌現(xiàn)顛覆了傳統(tǒng)商業(yè)生態(tài),也改變了人們的社會(huì)習(xí)慣。企業(yè)正在經(jīng)歷一場(chǎng)深重的大變革,而隨著互聯(lián)網(wǎng)及傳統(tǒng)行業(yè)的公司逐漸轉(zhuǎn)向數(shù)據(jù)驅(qū)動(dòng)的運(yùn)營(yíng)方式,測(cè)試也被賦予了更多的含義。測(cè)試正變得越來(lái)越智能,機(jī)器學(xué)習(xí)正在帶來(lái)革命性的變化,讓我們拭目以待。

songjy