首页 第17章

重新定义用户以后,程砚做的第一件事,是删掉汇报里的“明显改善”。
那四个字曾经出现在七页材料上:明显改善语言干扰,明显改善任务专注,明显改善寝室关系。删完以后,页面空出许多地方,像一场退潮。
“你过去到底改善了什么?”许知微问。
“在少数点位,简易麦克风记录的部分频段相对变化;部分参与者***识别下降;短时主观干扰评分小幅降低。”
“三件事能互相替代吗?”
“不能。”
“那就不要合成一个箭头。”
第二版评图材料改成三组指标。第一组描述物理变化:固定条件下目标位置的相对频段变化,同时监测相邻位置是否恶化。第二组描述语言信息:不看装置条件下,对固定语句的***识别率。第三组描述任务影响:被试完成校对任务时的错误数、中断次数与主观干扰评分。
为了避免把一个小数字说成大意义,沈知行要求每项指标旁边都回答三件事:谁测、怎样测、测到以后允许说什么。
相对频段变化只能说明测试点记录的声学信号发生差异,不能自动说明人更舒适;***识别变化只说明特定语言材料更难被理解,不能自动说明工作效率提高;主观评分能描述体验,却会受期待、关系和当天状态影响。
周野看完说:“按照这张表,每个数字旁边都站着一个不许它乱跑的人。”
“指标最容易越界。”沈知行说,“先给它划活动范围。”
为了做得更像样,程砚把*12结构放大一倍,用学院激光切割机加工卡纸。孔边整齐了,腔体尺寸也更接近设计值。四片单元安装在铝条和3D打印支架上,比之前结实,也更适合展示。
周野看见成品时说:“第二版至少不再像从快递箱上现割的。”
“它本来就是从快递箱上现割的。”
“所以工业设计的价值之一,是消除用户对原材料前世的想象。”
评图当天,程砚先**三个指标互不替代,并展示无装置、平板对照和结构样板的随机测试。他把最好与最差轮次放在同一张图里,没有隐藏波动。
韩岑听到一半,问:“你的***识别率用了几套语句?”
“六套,每套二十个***。”
“难度一致吗?”
“尽量按词频和句长匹配。”
“参与者会重复听见吗?”
“会。不同轮次更换顺序,但存在学习效应。”
“谁读的?”
“固定录音。”
“你目标场景里的人用固定录音说话?”
“不是。固定录音用于减少声源差异。”
“所以它验证物理趋势可以,验证真实任务不够。”
“是。”
韩岑走到样板旁,调了一下其中一片。刻度停在三十度。
“这次结果对应多少度?”
“四片分别是十五、三十、三十、四十五。”
“为什么?”
“根据上一轮点位搜索得到的组合。”
“谁搜索?”
“我。”
“测试参与者知道吗?”
“不知道。”
“你搜索了多少种组合,最后展示几个?”
程砚翻到附录:“测试二十四种,保留四种复测,主文展示变化最稳定的一种。”
韩岑没有看附录:“你把调参过程和验证过程分开了吗?”
程砚顿住。
前二十种组合的数据被用来寻找最佳角度,后四种又在同一间模型室、相似点位和部分相同参与者中复测。严格来说,他们用同一批环境信息既选答案又验证答案。
“没有完全分开。”他说。
“那你的稳定,是结构稳定,还是你越来越会摆?”
周野坐在后排,脸上的笑意消失了。
韩岑又指向任务数据:“校对错误数下降百分之十八,怎么计算的?”
“十六名参与者,在无装置和有装置条件下完成两段等长文本校对。平均错误从每段五点六次降到四点六次。”
“统计不谈。两段文本难度一样吗?”
“做过预试,但样本小。”
“顺序平衡了吗?”
“一半先做有装置,一半后做。”
“装置可见吗?”
“可见。”
“所以他们知道什么时候应该更专注。”
“有预期偏差。”
“你在结论页怎么写?”
韩岑没有立刻等答案,又点开一张物理变化图:“纵轴从六十八开始,为什么不从零?”
“为了放大差异,方便看趋势。”
“图注说明了吗?”
“有,但很小。”
“没有错误,却容易让人看错,也是设计责任。”
程砚把图恢复完整尺度。原本像陡坡的变化立刻变成轻微起伏。趋势仍在,视觉冲击却消失了。
“如果一项效果只能靠截短坐标轴显得重要,”韩岑说,“你应该怀疑的不是图不够漂亮,是效果是否达到值得用户付出代价的程度。”
程砚看向屏幕。那一页仍写着:结构样板在目标场景中改善任务表现。
他拿起遥控器,把投影黑掉。
“写重了。”
韩岑问:“应该写什么?”
“短时探索测试中观察到校对错误数变化,但装置可见、样本量小、文本等价性不足,不能归因于结构效果。只可用于改进正式测试设计。”
“那为什么它还在结论页?”
“因为我想让三组指标都支持同一个方向。”
“指标不是愿望清单。”韩岑说,“也不是三支箭一起指向你想去的地方。物理变化、语言识别和任务表现之间需要建立关系,不是把它们摆在同一页就有关系。”
程砚点头。
“还有。”韩岑抬起那块放大的样板,“你为什么放大?”
“便于加工,减少手工误差,也扩大覆盖。”
“腔体和开孔一起按比例放大了吗?”
“外形和腔深放大,开孔没有完全同比,因为机器加工和结构强度限制。”
“那还是同一个结构吗?”
程砚这一次沉默得更久。
声学结构不是海报图形,放大不是简单拉伸。腔深、孔径、孔颈、开孔率与材料损耗彼此相关。第二版为了覆盖更大区域,把单元尺寸放大,却没有重新确认响应关系。它外观更像成品,原理证据反而断了一截。
韩岑在评图表上写下第二个“退回”。
“第一版不知道为谁,第二版不知道凭什么说有效。”他说,“回去先定评价顺序。哪个是主指标,哪个是机制指标,哪个只作探索?改善多少才值得,变差多少必须停止?测试之前写,不要看完结果再决定。”
下课以后,贺嘉树拿着那张百分之十八的图:“这张是不是完全没用了?”
“用来提醒我们装置可见会产生预期。”许知微说,“负面用途也是用途。”
周野看着更精致的第二版:“我最难受的是,这次明明做得比纸板好看。”
“好看没有错。”程砚拆下放大单元,“错的是我把外观成熟当成证据成熟。”
他们把指标重新排队。
主指标只保留一个:在预先规定的目标位置和语音任务下,语言***识别度是否下降到预设区间,同时发声者的任务自然度不显著受损。相邻位置恶化、安全、稳定性和操作负担作为必须同时满足的门槛。物理频段变化用于解释机制,不单独宣称用户价值;校对任务暂时降为探索,不再为本轮成败背书。
沈知行建了一个只读版本,把测试条件、分析方法和停止规则写进去,标注时间。正式测试开始后,任何修改必须保留记录,不能覆盖原版本。
许知微提出再加一项:先判断参与者是否猜中当前条件。若大多数人通过外观或研究人员动作识别出结构样板,主观评价就要单独解释,不能与较难猜中的轮次合并。
程砚原本嫌这会让测试表更长,写到一半却发现,真正麻烦的不是表格,而是人会形成期待。校园传播已经给“静域片”罩上了效果想象,只要参与者认出那排带孔薄片,就可能下意识寻找安静。
他们决定正式招募时询问是否看过相关视频,但不在测试前告诉参与者哪一种样板是主方案。传播影响本身也成为必须控制的变量。
“这算什么?”周野问。
“在看结果之前,先承诺我们准备怎么看。”
“如果结果不好?”
“那就不好。”
程砚把那张百分之十八的漂亮图移进“不可用于结论”文件夹。屏幕空出来以后,他没有立刻补新图。
第二版被否定的不是一块样板。
是他们把测得到的数字,当成想要的答案的习惯。

==>戳我阅读全本<===

设置
手机
书页