《把一切都監(jiān)控起來(lái)(轉(zhuǎn))》由會(huì)員分享，可在線閱讀，更多相關(guān)《把一切都監(jiān)控起來(lái)(轉(zhuǎn))（31頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、單擊此處編輯母版標(biāo)題樣式,單擊此處編輯母版文本樣式,第二級(jí),第三級(jí),第四級(jí),第五級(jí),*,*,把一切都監(jiān)控起來(lái),-,思路,vs,技術(shù),vs,管理,互聯(lián)網(wǎng)行業(yè)現(xiàn)狀,運(yùn)營(yíng)網(wǎng)絡(luò)環(huán)境錯(cuò)綜復(fù)雜、,不同操作系統(tǒng),/,瀏覽器及版本、不同網(wǎng)絡(luò)速度,大量服務(wù)器,測(cè)試環(huán)境跟外網(wǎng)差異大,敏捷開(kāi)發(fā)、快是生存的根本,測(cè)試與開(kāi)發(fā)人力比例很大,測(cè)試團(tuán)隊(duì)價(jià)值如何最大化？,提問(wèn)：,團(tuán)隊(duì)自動(dòng)化測(cè)試,ROI,目前是正值還是負(fù)值？,質(zhì)量與效率是否有清晰度量指標(biāo)和平衡點(diǎn)？,可能的現(xiàn)狀？,明知版本差、仍然要發(fā)布,辛苦自動(dòng)化測(cè)試投入，一個(gè)產(chǎn)品變更，輕松抹殺所有產(chǎn)出,痛苦的外網(wǎng)問(wèn)題定位，測(cè)試被頻繁挑戰(zhàn),思考,/,挑戰(zhàn),敏捷開(kāi)發(fā)下，如何更好體現(xiàn)
2、測(cè)試的聲音和價(jià)值？,快速版本發(fā)布下，如何仍然把質(zhì)量持續(xù)提升？,除了測(cè)試（包括工具開(kāi)發(fā)）， 測(cè)試團(tuán)隊(duì)還可以做什么,?,大部分測(cè)試團(tuán)隊(duì)的工作范疇,自動(dòng)化測(cè)試（,B/S,、,C/S,、后臺(tái)）,平臺(tái),/,框架建設(shè),安全測(cè)試,黑盒測(cè)試,白盒,/,單元,/,集成,/,灰盒測(cè)試,性能測(cè)試（前后臺(tái)）,用戶(hù)體驗(yàn)測(cè)試,兼容性測(cè)試,。,這些工作呢？,配置管理（代碼）變更和規(guī)范性,開(kāi)發(fā),/,編譯,/,測(cè)試環(huán)境穩(wěn)定性,外網(wǎng)發(fā)布部署過(guò)程質(zhì)量,外網(wǎng)產(chǎn)品運(yùn)營(yíng)質(zhì)量,IDC,運(yùn)營(yíng)質(zhì)量,外網(wǎng)環(huán)境質(zhì)量,僅僅是開(kāi)發(fā)和運(yùn)營(yíng)支持人員的責(zé)任？,互聯(lián)網(wǎng)行業(yè)測(cè)試范疇新定義,可用性測(cè)試,監(jiān)控測(cè)試,監(jiān)控測(cè)試定義,規(guī)律性比對(duì)的自動(dòng)化測(cè)試,+,不確定性
3、下檢測(cè)預(yù)警,+,人腦智能分析,通過(guò)各種不同工具和統(tǒng)一的測(cè)試平臺(tái)從多個(gè)緯度給產(chǎn)品研發(fā)運(yùn)營(yíng)質(zhì)量輸出錯(cuò)誤報(bào)告和預(yù)警分析,讓監(jiān)控型測(cè)試工作無(wú)所不在！,Testing Monitor Scope,代碼規(guī)范性,高危函數(shù)代碼,目錄,/,文檔,Makefile,靜態(tài)代碼檢測(cè),SCM,變更,分支基線,代碼被評(píng)審度,Base lib,變更,Build,監(jiān)控,產(chǎn)品打包規(guī)范性,配置標(biāo)準(zhǔn)化監(jiān)控,部署變更監(jiān)控,發(fā)布一致性監(jiān)控,差異測(cè)試監(jiān)控,環(huán)境穩(wěn)定度監(jiān)控,外網(wǎng)黑盒性能,打開(kāi)速度,服務(wù)器運(yùn)行,Coredump/crash,網(wǎng)絡(luò)狀況,程序上下線,數(shù)據(jù)正確性,返回碼,代碼,環(huán)境,運(yùn)營(yíng),缺陷進(jìn)展監(jiān)控,項(xiàng)目,MileStone,T
4、esting Plan,Task Status,流程,監(jiān)控測(cè)試下測(cè)試開(kāi)發(fā)重點(diǎn)工作,持續(xù)集成平臺(tái),依托在持續(xù)集成平臺(tái)下的各種測(cè)試工具,讓工具自動(dòng)化執(zhí)行起來(lái)！,一些測(cè)試解決方案技術(shù)和原理介紹,基于,SVN,的二次開(kāi)發(fā)封裝,充分利用,SVN,的,hook,技術(shù),讓開(kāi)發(fā),CI,時(shí)更有樂(lè)趣和挑戰(zhàn)壓力,Pre-commit,和,post-commit,利用,Html/CSS/JS,給出變更的差異報(bào)告,Dom tree,變更的提醒和分析,CI,后的靜態(tài)檢測(cè),C/C+,代碼：推薦開(kāi)源,cppcheck,工具,高危險(xiǎn)函數(shù)掃描分析預(yù)警,CI,前的編碼規(guī)范性、注視率、版本變更說(shuō)明檢測(cè),監(jiān)控結(jié)果或錯(cuò)誤郵件推送,測(cè)試結(jié)
5、果入持續(xù)集成數(shù)據(jù)庫(kù),一些開(kāi)源工具推薦,動(dòng)態(tài)內(nèi)存泄漏測(cè)試和監(jiān)控,基于開(kāi)源,Valgrind,工具的二次封裝開(kāi)發(fā),+,持續(xù)集成平臺(tái),(,執(zhí)行調(diào)度管理,+,歷史結(jié)果存儲(chǔ),+,度量）,一些開(kāi)源工具推薦,(,續(xù)）,靜態(tài)內(nèi)存,/,資源泄漏監(jiān)控,基于開(kāi)源,cppcheck,工具的二次封裝開(kāi)發(fā),+,持續(xù)集成平臺(tái),一些開(kāi)源工具推薦,(,續(xù)）,代碼覆蓋率監(jiān)控,基于開(kāi)源,gcov/lcov,工具的二次封裝和開(kāi)發(fā),+,持續(xù)集成平臺(tái),一些開(kāi)源工具推薦,(,續(xù)）,差異化比對(duì)工具,Python,的,difflib,工具包，可以容易實(shí)現(xiàn)友好界面代碼比對(duì)分析和支持,與自動(dòng)化部署系統(tǒng)結(jié)合起來(lái)，部署完成后提供差異報(bào)告,安全自動(dòng)化監(jiān)
6、控,測(cè)試階段,SDL,思路,測(cè)試平臺(tái)管理,CGI,等相關(guān)資源,明確,get,或,post,參數(shù),結(jié)合,XSS/CSRF,等安全漏洞攻擊原理給與,input/output,的自動(dòng)化結(jié)果分析,納入持續(xù)集成平臺(tái)統(tǒng)一調(diào)度執(zhí)行和管理和度量,B/S,前臺(tái)優(yōu)化監(jiān)控測(cè)試,讓前臺(tái)優(yōu)化不再只是開(kāi)發(fā)工作，測(cè)試?yán)^續(xù)延伸到產(chǎn)品的外網(wǎng)運(yùn)營(yíng),把返回碼（,404/5XX,）、,cache,、壓縮、,JS,等混淆、,http,請(qǐng)求次數(shù)、打開(kāi)速度、路由、,ping,速、打開(kāi)耗時(shí)等統(tǒng)統(tǒng)以測(cè)試手段通過(guò),IDC,間互訪實(shí)現(xiàn)監(jiān)控和問(wèn)題定位分析,【,讓測(cè)試?yán)^續(xù)延伸,】,通過(guò),IDC,間的請(qǐng)求互訪支持！,IDC2,IDC1,IDC3,B/S
7、,前臺(tái)優(yōu)化監(jiān)控測(cè)試,技術(shù)實(shí)現(xiàn),Ruby + httpwatch + watir +,優(yōu)化分析工具,+,持續(xù)集成平臺(tái),【,僅支持,IE】,Selenium + Fiddler + Python/Ruby +,優(yōu)化分析工具,+,持續(xù)集成平臺(tái),【,可支持多瀏覽器,】,最佳的性能測(cè)試方案是？,問(wèn)題：日常測(cè)試工作開(kāi)展，你的性能測(cè)試結(jié)果對(duì)外網(wǎng)產(chǎn)品運(yùn)行指導(dǎo)價(jià)值有多大？,100%,價(jià)值參考？,80%,價(jià)值參考？,不到,50%,價(jià)值參考？,價(jià)值參考性不強(qiáng)的原因是啥？,測(cè)試環(huán)境,vs,外網(wǎng)環(huán)境,外網(wǎng)的訪問(wèn)毛刺,持續(xù)攀升的峰值訪問(wèn)次數(shù),最佳模式下突發(fā)網(wǎng)絡(luò)故障,產(chǎn)品架構(gòu)容災(zāi)、柔性設(shè)計(jì)不夠,。,思考：,業(yè)務(wù)訪問(wèn)頻率是幾
8、十萬(wàn)次,/,秒場(chǎng)景下，一次功能探測(cè)測(cè)試結(jié)果代表了啥？,一天里每秒執(zhí)行,1,次后的測(cè)試結(jié)果又有何作用可分析和參考？,新的性能測(cè)試方案,/,思路：,同前臺(tái)性能優(yōu)化測(cè)試的部署執(zhí)行思路,在,IDC,間互相部署測(cè)試平臺(tái)和執(zhí)行,agent,探測(cè)性,+,自動(dòng)化測(cè)試用例執(zhí)行,驗(yàn)證響應(yīng)時(shí)間、超時(shí)率、錯(cuò)誤率,針對(duì)性做閥值分析并短信等方式告警,最好的運(yùn)營(yíng)支持工具,+,最好的性能檢測(cè),/,監(jiān)測(cè)利器！,可測(cè)試和監(jiān)控問(wèn)題：,功能邏輯錯(cuò)誤,服務(wù)器性能,/,負(fù)載,網(wǎng)絡(luò)問(wèn)題（網(wǎng)絡(luò)不通、網(wǎng)絡(luò)波動(dòng)、網(wǎng)絡(luò)丟包）,架構(gòu)合理性,。,開(kāi)發(fā)、測(cè)試、運(yùn)維終于可以睡安穩(wěn)覺(jué)！,運(yùn)營(yíng)環(huán)境下的自動(dòng)化測(cè)試監(jiān)控,接入層（,CGI/HTML,）,后臺(tái),Se
9、rver,DB/File Cache,Database,OS,海量服務(wù)產(chǎn)品簡(jiǎn)單架構(gòu)層級(jí),HTTP Client Auto Test tool,TCP,發(fā)包,+,自定義協(xié)議結(jié)構(gòu),Test Tool,快慢,DB,查詢(xún),Test Tool,Disk/,進(jìn)程,/CPU/coredump Test Tool,測(cè)試,/,監(jiān)控平臺(tái)設(shè)計(jì),用例管理和制作,測(cè)試數(shù)據(jù)管理,腳本語(yǔ)言支持,任務(wù)管理和調(diào)度,任務(wù)執(zhí)行,/,控制,結(jié)果上報(bào),任務(wù)執(zhí)行,/,控制,結(jié)果上報(bào),任務(wù)執(zhí)行,/,控制,結(jié)果上報(bào),統(tǒng)計(jì)分析,配置管理,告警推送,結(jié)果展示,測(cè)試平臺(tái),統(tǒng)計(jì)平臺(tái),自動(dòng)化監(jiān)控成果,再談持續(xù)集成,規(guī)則定義,工具開(kāi)發(fā)規(guī)范,工具配置管理,任務(wù)定制、管理、調(diào)度和執(zhí)行,工具測(cè)試結(jié)果統(tǒng)計(jì)、度量,監(jiān)控型測(cè)試開(kāi)展的最好支持平臺(tái),輕量靈活化、插件化接口、集中管理和執(zhí)行約束,測(cè)試價(jià)值的新定位,質(zhì)量、效率、速度、成本,過(guò)去團(tuán)隊(duì)發(fā)生的一些花絮（真實(shí)案例）,案例,1,： 一個(gè)體驗(yàn)界面，只需前臺(tái)添加幾行,JS,代碼，體驗(yàn)便差異非常大， 具體測(cè)試人員卻提不出改進(jìn)方案來(lái),案例,2,： 農(nóng)場(chǎng)的偷標(biāo)記不正確顯示率很高，開(kāi)發(fā)和測(cè)試都無(wú)從解決,案例,3,： 魔法卡片需求文檔推出后，被測(cè)試推翻重做,我的鑒語(yǔ)：技術(shù)決定未來(lái)、沒(méi)有技術(shù)沒(méi)有未來(lái),單純聚焦黑盒測(cè)試，測(cè)試憑啥想得到產(chǎn)品、開(kāi)發(fā)和其他團(tuán)隊(duì)的尊重和支持？,謝謝,
把一切都監(jiān)控起來(lái)(轉(zhuǎn))
