如何写产品可用性测试报告?
最近完成了一个我司初始期产品的可用性测试项目,基本可以理解为对新用户进行一下产品全流程各关键节点的体验走查,但也涉及了首页改版设计的需求挖掘。本篇主要是记录一下其中可用性测试部分的报告是如何向业务方呈现的,且怎么呈现更具有说服力与专业性。
首先,对于可用性任务的设置与计算方法网上已经介绍的十分详细,对于基本测试方法有需求的朋友可以随手某百,我就不再赘述。在这里,个人推荐一本书Jeff Sauro等人所著的《用户体验度量》,书中对于可用性测试样本的统计指标与方法,常用的可用性测量问卷与分数转化、对照参数已经有了很好的解读与传授教学。
一般,可用性测试的周期从接到需求到出具完整报告,我这边的项目周期是2-3周。这个时间的跨度取决于目标用户的招募难度与业务数据的完备性。我们在进行完整测试及对样本数据整理和汇总后,就进入了报告的撰写阶段。这个环节,才是传达用研价值的最关键环节。
话不多说,直接进入报告架构环节交代:
(PS:以下是我个人的报告架构,欢迎更专业的用研高手指点拔高)
Part 1 研究背景:
1.交代研究目的(一针见血指出你这个报告能干嘛,结合业务发展背景更能提高观众的阅读兴趣)
2.样本招募标准与配比,且需要把每个用户的基本产品使用经验进行下简单介绍,帮助业务方基本了解一下目前用户本产品与同类产品的使用经验(指标:频率、时长、深度、接触渠道等)
3.如果业务方对研究方法不是很了解可以对方法也进行下介绍(目的作用、样本量代表性说明、可用性测试监测指标、计算方法等等)。个人觉得这个环节挺必要,因为业务方往往能够系统掌握方法论的较少,向上汇报的时候这些信息能够很前置且直观的打消观众的后续阅读疑惑
Part 2:产品可用性测试评估:
1.当前产品整体可用性水平、曲线分级范围(整体可用性量表分数转化计算得出)
2.关键任务(功能)的可用性水平:在这里我们可以结合功能价值与任务可用性水平一并输出一个XY轴的四象限图,一目了然划分流程体验优先级水平。随后,基于不同任务的可用性指标对比找出目前各环节的关键问题。推荐一篇文章,大家可以参照这位大大的详细说明来进行呈现与绘制。
文章——可用性测试:任务评估模型与计量方式
补充:如何测功能价值(在用户节点任务完成后使用自评题)
题目如下:
PART 3 :流程可用性问题梳理
在Part 2 已经对产品整体、分流程的可用性水平以及存在的主要节点问题已经进行了说明。很好的培养了观众对于报告第三部分的阅读理解性与重点关注。
本部分的书写是个体力活——呈现问题
建议:按照测试流程/产品使用流程分块梳理汇总。
格式:产品界面、问题、影响等
tips:对于每个任务流程的问题进行总结与给予优化建议(体现用研价值,体现个人业务水平)
Part 4 : 问题优先级水平划分
找出来问题以后,我们需要对问题进行优先级水平的计算反馈与问题属性划分,属性划分这里我们可以对应尼尔森十条可用性原则进行界定
这么做的好处有两点:第一点,算是对报告的第三部分进行一个问题清单整理(毕竟在上一部分一页PPT写不了几个问题),第二点是问题优先级能够直接醒目划分优化的重点与顺序。整体对于后续业务基于此统一向用研返回问题优化排期帮助意义较大。
附:问题指标计算量纲
以上,整理完。
毕业后从事用研工作已有一年,之前对于项目的总结复盘做的不够到位。之后会逐渐更新自己的项目心得体会。热烈欢迎五湖四海同行人士对我进行拍砖指点。
软件写好后测试好的,但过一段时间会出问题
测试人员在工作中经常打交道的肯定是开发和产品经理,开发将程序写出来,测试员进行测试。软件测试完成后,产品才能生产,在这过程中,难免会遇到软件会出现问题的情况。那么你肯定听过这些话:
“这么明显的bug你都测不出来吗?”
“为啥这个功能还没测完就上线了?”
“研发时间不够,你压缩一下测试时间”
“这个bug和开发没关系,注意看需求”
听到这些话,相信你分分钟高血压,这个锅不知不觉就“甩”到你身了。
问题的关键来了,很多测试员就会出现这种疑问:软件测试完后,还有Bug,责任全都在测试吗?
▶ PS:这里分享一套软件测试的自学教程合集。教程很全,总量达到300G,有从0基础开始学的全套完整视频教程和配套的视频课件,以及大量的测试项目练习案例(市面上绝无仅有),配合视频一起学,大概坚持个30天,就能学到不少知识点,学完后找个初级的功能测试工作是没问题的!
----资料包内容详情---- ☑ 215集-零基础到精通全套视频课程 ☑ [PPT+代码]-完整配套的教学课件 ☑ 18套-测试实战项目源码 ☑ 37套-测试工具软件包 ☑ 268道-测试猿毕业学员真实面试题 ☑ 500个-面试简历模板(信息完整)
『学习资料领取 』300G软件测试视频+PPT课件+项目源码+面试指导48 赞同 · 1 评论文章
我个人觉得应该理性看待,具体问题,具体分析。
当上线后,出现bug后,肯定第一时间应该找测试,测试同学查看是否能复现这个问题,定位漏测问题原因。
如果为页面有错别字、页面样式重叠严重的、功能不可用,用例覆盖不全面,业务理解不到位导致的这种非常浅显可以复现的问题,出了问题,找到测试,无可厚非。
如果是“不可预测、未知”的问题,比如说性能测试中,给出指标并已经测试10000人并发,并已告知开发人、产品测试并发量的情况,而开发、产品人员均没有提出异议。
但结果那天由于销量超好,并发量达到100000,系统崩溃了,这并不是我们能预测到的,所以是漏测,也不是一个人责任。
所以要对问题定位分析之后才能定位出来,是什么原因,是需求不明确,理解歧义,开发引入,或是其他原因,然后及时补救,最后再去定责。
举个例子测试工程师们就会明白,不是所有的锅都得测试背
1、假设是软件版本更新,开发人员在进行影响分析时漏掉了可能会影响的一个功能,而测试也没有测到这个功能,恰恰这个功能上线出了问题,那没说的,开发的责任;
2、软件开发延期导致原本两轮的测试变为一轮测试,测试不充分导致出现BUG,这应该是整个项目组的责任;
3、软件按时提交测试,BUG出现在测试覆盖范围内,那么就是测试的责任;
4、测试BUG较多,测试部门要求延期上线,结果客户或者领导压下来,说必须按时上线,你说这是谁的问题?
所以,软件测试完后,还有Bug,不一定都是测试的锅,首先要清楚的知道是什么原因导致出现的bug,所以这个时候就需要有人来组织这个Bug的责任认定和后续改进。
线上Bug的讨论一般有如下这些内容:
1、Bug的产生原因,仔细地分析Bug为什么会产生,这个环节很重要,因为这个环节弄清楚以后,责任认定就清楚了。
2、Bug的责任认定,一般来说,除了那些责任真的很清晰的Bug之外,很多Bug都是开发、测试、策划、项目经理共责的,为了团队的团结,也没有必要去讨论哪个团队负主要责任。
3、Bug影响范围,分析这个Bug对于用户造成的影响。
4、改进措施,在改进措施这一项中,可以把以后如何避免类似Bug的措施写进去,并在任务系统建立任务,指定专门的人跟进。
其实,说到底,还是因为职责划分不清晰导致的“背锅”。
那再来说下项目组实际Bug的责任认定吧:
1、如果测试时间还是比较充足,测试用例有写,但是还是漏测的,那就是测试的责任。
测试用例没有覆盖,测试用例覆盖了却没有执行,各有不同的偏重点,前者参与评审的相关人员都有责任,后者测试组的完全责任,PM也有对应责任。
2、如果测试时间不充足,测试用例有写,但是因为时间不足而降低回归测试范围,导致漏测的,那一般是项目组各个角色共责的。
3、如果有开发修改了功能没有通知测试人员,导致线上漏测的,那就是开发的责任。
4、如果策划人员在回归测试阶段还提了需求变更,在测试人员明确告知风险的情况下还坚持要上需求变更的,那就是策划的责任。
5、需求覆盖不到的地方,描述不清楚的地方,需求,设计和测试都要承担一定的责任,需求的责任最重。说需求人员的责任大家都容易理解,为什么说设计和测试还有PM都有责任,是因为需求的评审是需要设计和测试参与的,角度不同,具体这里就不展开了。
除非判断就是需求采集中的重大缺陷,否则设计和测试都有关联的次要责任。
6、设计过程,开发过程没有实现,需求检查到了,设计和开发却没有弥补。设计和开发的责任,PM责任最大,监管不到位。
7、交付部署中出现的问题,版本拿错的责任,一般在于PM,配置管理员和测试经理,也有可能是因为没有足够明确的制度造成了混乱,这样需要部门经理或者更高层的人员来牵头负责。版本拿对了,安装过程出错,交付部署人员的责任最大,项目经理次之。
对于测试人员来说,测试阶段如果因为时间缺少、需求变更频繁等原因导致回归测试范围不足的,一定要尽早跟项目组正式地发邮件沟通情况,让大家尽早知晓风险,这样出现线上Bug的时候,项目组其他人员就不会认为测试工作没做到位。
测试人员如何有效避免“背锅”呢?
1、留出足够的测试时间
要保证测试时间,从流程上就要做起,说明测试的重要性,我看很多测试对自己的重要程度一直没认识到。在项目排期时,就要定够足够的测试时间(一般都是给一点冗余时间,以处理突发事件)。如果说因为特殊情况导致测试时间不够,比如开发没有按预期提测,产品需求变更,也要勇于提出或者延期发版,或者减少功能,以保证自己测试时间。如果说这两点都不能保证,则在测试报告中写明,由于xxx情况,导致测试时间不足,所引起无法完全覆盖。
2、做好数据备份。凡事不要口头沟通。
我看有些人背锅,明明测过了,提过bug,但是线上又出现了人家说你提的bug 呢?你说我只是和开发说了一句…呵呵,空口无凭。提bug 的时候,不要途一时之快,不写bug口头沟通,这样没事的时候你好我好大家好,出了事,你想甩锅都没办法甩。包括前面测试的版本包,都备份下来。如果确实是开发后面改动引起的问题。你可以把前面的版本包拿出来验证,如果没问题,则可甩部分锅给开发(这里部分看能力,如果是我以前老大,锅就全甩过去了)
3、写好测试报告。
对于有风险的内容,测试报告里一定要写清楚,比方说前面说的时间不够。又或者是一些情况,测试环境不好验证。注明后,发给团队,团队人周知,并且是项目负责人拍版可以后再进行发版。测试报告不要随便写写就算了,非常重要。
4、甩锅给开发,产品没关系,不要甩锅给同是测试组员,或者手下,否则后患无穷。
我就碰见过一个甩锅给手下的老大,最后闹的两个人都不说话,有事就发邮件沟通。毕竟测试同学都是小伙伴,谁是我们的朋友,谁是我们的敌人,还是要分清楚的。滴水不漏的甩锅给手下,同事,最后难免搞的自己孤家寡人。事实上,我碰见我的组员出一些问题,都会主动帮他分担部分责任的,让他感觉我在挺他。这样才能保证测试团队的凝聚力。
总结
保证软件高质量,并非只是测试人员的责任,软件质量体现在功能质量、结构质量和过程质量三个方面,对产品质量负责,意味着要对这三方面共同负责。当出现Bug时,对于企业来说,问题不解决,只是纠缠问题是谁的责任,公司会被这些人直接拖垮,这时候对于企业来说最重要的就是解决问题!所以对于产品质量,最理想的状态还是做到人人都为产品质量负责,为了达到这个目标,我们需要建立一种重视质量的文化,每个人才会确确实实地对质量负责。
另外给大家总结一下如何避免漏测:
吃透业务需求
需求评审阶段,产品经理、开发、测试在开会之前,一般都会收到一份需求文档和原型图。在开会前,研读好需求文档后,做好理解不明确和产生歧义的地方,待产品经理组会来讲解需求时,针对不懂的地方进行提问,认真记录。
提高用例质量
提高用例覆盖率,结合业务设计有效业务场景,保证测试有效性。
做好用例评审
测试人员结合用例对需求进行反串讲,把对需求的理解讲一遍,列出所有的测试点和测试场景,产品和开发同事评审是否有遗漏场景,如果没有异议,这样就可以很大程度的避免漏测了。
增加交叉测试
一个人精力毕竟有限,如果条件和时间允许,可以把测试过的功能交给你的搭档,让他帮忙在测试一下,毕竟每个人的测试思路不一样,也许也有收获也不一定呢。
有效回归测试
梳理主流程用例,尤其随着版本迭代和功能的增加,回顾测试用例极为重要,毕竟每次发版时,要保证主流程没问题吧,主流程都有问题,难道还敢上线?
可能有的同学说了,那么多用例,也执行不完呀,不是有web自动化吗,自动化跑呗,可能有的同学说不会呀,咱们学可以吗?
bug仲裁
在上线前,查看还有哪些问题,是未解决的,与产品、开发、测试经理商量,哪些bug是允许带到线上的,如果三方达成一致,那么线上再出问题,也是已知的,就没什么问题了。
做好漏测复盘
对待漏测态度上必须要重视,分析为何会漏测,是哪个环节出了问题,是流程问题还是技术问题?
同样的坑别踩第二次,技术不足的学习补齐,流程不足的规范流程。
把它当做一次提高的机会,也正因为这次机会,让你印象越深刻,能够避免下次不会再犯同样的错误。
ppt 程序报告中 测试,结果分析该怎么写
顺序是这样的:实验题目》》实验目的》》实验要求》》实验器材(当然写计算机了)》》实验流程图(就画那些什么平行四边形里写开始,椭圆形里写步骤的那种)》》实验步骤(写程序代码)》》结果分析(写详细些
比如写输入什么
输出了什么
如果结果有问题
你可以分析
比如因为循环次数少导致的或怎么样)