描述统计与显著性检验
Descriptive Statistics & Significance Testing
概率是"已知随机过程、预测结果",统计则反过来——"已知结果数据、反推随机过程的性质"。Schreiber 与 Romero 第 24 章(p.583–602)给出设计师分析试玩与运营数据最常用的工具:均值、中位数与标准差的对照解读,离群值的处理,统计显著性与 Z 检验,相关系数,以及安斯库姆四重奏、样本量、样本偏差、埋点 bug、相关≠因果等常见错误。本页还补充了原书对 p 值的解释与主流统计学观点的分歧。
统计与概率(p.583–584)
原书开篇指出游戏平衡会触及其他领域:第 21 章伪随机数接近编程,第 20 章心理学引出职业伦理,第 11 章用关卡美术作为进度奖励;本章则借衡量玩家消费行为等,把游戏设计与商业连起来。
统计学并不是"冷冰冰的硬数据",它很混乱,连专业统计学家对基本原则都有分歧。与概率一样,它不提供保证:统计可以说"有 95% 把握这些结果与公平 d6 一致",这意味着仍有 5% 可能是错的;数据越多把握越大,但出错的可能永远不为零。数据分析如何落地到游戏平衡见 数据分析与平衡。
均值、中位数、标准差(p.584–588)
- 均值 :实际数据的平均,期望值是理论上的平均,两者通常接近。
- 中位数:排序后取中间值(偶数个取中间两个的均值)。"总有一半人低于平均"说的是中位数。
- 两者对照才有信息量:均值远高于中位数 → 高端有少数极大值(原书例:美国家庭收入中位数 51,939 美元、均值 72,641 美元——收入难以远低于零,高端却有亿万富翁;游戏排行榜同理,少数高手刷出极高分);中位数高于均值 → 低端有极小值拉低均值(全班 75–85 分,一个人零分);两者接近 → 没有极端值,或两端极端值大致对称。
- 标准差:,表示数据有多分散;大约三分之二数据落在均值 ±1 SD 内,九成以上落在 ±2 SD 内(正态分布约 68% 与 95%)。SD 要相对均值来看:均值 50、SD 25 很分散,均值 5000、SD 25 很集中。例:1d11+1 与 2d6 范围都是 2–12,期望都是 7,但前者均匀分布、SD 约 3.2(原书写"约 3.3",本 wiki 按 算),±1 SD 是 4–10;2d6 的 SD 约 2.4,±1 SD 是 5–9。
案例:教程关时长(p.586–588)。目标 5 分钟;实测均值 5 分钟、中位数 6 分钟、SD 2 分钟。多数人 3–7 分钟,对线性教程来说范围偏大;中位数高于均值说明多数人超过 5 分钟(教程太长),而少数人飞快通过——可能找到了捷径或漏洞,或跳过了所有对话,之后可能因不懂核心机制而卡住;好消息是没人花几个小时(否则均值会远高于中位数)。三个数字就能发现问题,但不能说明原因:要列出所有可能解释,再收集能区分它们的数据(例如另外记录读对话的时间并重新测试)。还要注意样本量:只有三个测试者时这些数字几乎没有意义,几千次测试才可信。
离群值(p.588–589)
远离均值的点叫离群值 (outliers),均值与中位数明显分离时多半是它们造成的。找常规玩法时应剔除(按定义它们不来自典型玩法);找边界情况时要保留并重点关注(例如决定排行榜要显示几位数字,榜首全是离群值)。无论如何都值得追查原因:教程多数人 5–7 分钟而少数人 1–2 分钟 → 查捷径或漏洞;唯一一个人花了一小时 → 多半是暂停离开;好几个人都这样 → 可能把关卡当沙盒玩得开心,也可能根本没看懂某个基本机制却礼貌地没有退出——都值得知道。
统计显著性与 Z 检验(p.589–592)
改版前后或 A/B 测试后比较两组数据时,要判断差异是真实的还是随机波动——100d6 随机分成两组 50d6,均值和 SD 也会略有不同。永远无法完全确定;能做的是计算出错的概率,并设定显著性门槛:门槛太低会看到许多虚假趋势,太高则会忽略真实趋势。多数领域用 95% 置信度(最多 5% 出错可能),这是在结论正确率和实验成本之间的折中——要求一万名测试者,大多数开发者就什么结论也得不出。
Z 检验三步:
- 标准误 ;
- ;
- 查表或在电子表格中用
NORMSDIST(z),得到总体中随机一组数据低于样本均值的概率。
限制:必须已有既定均值作比较(比较两组数据时选一组当"既定");假设数据近似正态分布(比较两组 1d12 就不太合适)。
例:1000 人初测教程均值 300 秒、SD 120 秒;改版后 16 人复测均值 280 秒、SD 120 秒。,,NORMSDIST(-2/3) 。原书解读为"约 25% 可能是随机波动、约 75% 可能是改动起了作用",结论是改动可能有效但未达显著;增加测试人数可以提高显著性。
观点分歧:p 值的含义
原书 主流统计学 表示什么 "25% 的可能是随机波动,75% 的可能是改动造成的" 0.25 是假设改动无效时,看到至少这么低均值的概率(单侧 p 值),它不是"改动无效"的概率;要得到后者需要先验,即贝叶斯分析 95% 显著性 已发表的研究"可能有多达 1/20 的结论是错的" 5% 是无效假设为真时的假阳性率;已发表结论的实际错误率取决于检验功效和先验比例,可能远高于 5% 依据:美国统计协会《关于统计显著性与 p 值的声明》(Wasserstein & Lazar, The American Statistician 70(2):129–133, 2016)原则 2:"p 值不衡量所研究假设为真的概率,也不衡量数据仅由随机机会产生的概率";Ioannidis, "Why Most Published Research Findings Are False", PLoS Medicine 2(8):e124, 2005。原书"未达显著、需要更多样本"的实际建议仍然成立。
相关(p.592–593)
用于判断两件事是否有关:某张卡是否与胜利相关、格斗游戏中角色与对局时长、跑团中哪些职业常一起组队。正相关同涨同跌,负相关此涨彼跌,说的是趋势而非绝对。相关系数在 −1 到 1 之间,电子表格用 CORREL(array1,array2)(两组数据须等长且一一对应);±1 为完全相关,0 为不相关。由于噪声,强相关很少恰好 ±1,不相关也很少恰好 0。
常见错误(p.593–598)
马克·吐温推广了"谎言、该死的谎言和统计数字"这句话(他本人将其归于迪斯雷利,出处至今未明)——统计不是没用,而是不小心就会"骗"你。
| 错误 | 原书要点 |
|---|---|
| 只看统计量 | 安斯库姆四重奏 (Anscombe's Quartet):四组各 11 个点,分别是带误差的线性、抛物线、强线性加一个离群点、竖直线加一个离群点,但 x 均值都是 9、y 均值都是 7.5,SD 几乎相同,相关系数也相同。一定要把原始数据画出来 |
| 样本太小 | 玩家把《万智牌》牌组分成若干起手牌试抽,觉得地牌够了就参赛,结果一直缺地——事后才发现 60 张里只有 16 张地(常见约 20 张);某次洗牌恰好地牌很均匀,样本太小得不出有意义的结论 |
| 样本偏差 | 让开发组试玩休闲游戏来估难度,但开发者不是休闲玩家,熟练度和内部知识都远高于目标用户;焦点小组一致要求把女主角换成男主角,若游戏面向大众而焦点小组全是男性,结论就无效。招募与目标市场相似的测试者,并且越多越好 |
| 埋点编程 | 数据采集要占用程序时间,常和音频、本地化、测试一样被拖到开发末期草草完成;要尽早强调其重要性。代码有 bug,数据可能完全错误:始终检查原始数据,并手工独立采集部分数据抽查(例如亲自数一名测试者在某关死了几次,再与软件记录对比) |
| 算错 | 概率有自带的合理性检查(小于 0 或大于 1 就是错的),统计往往不知道预期答案,所以要用一切方法独立验证 |
| 相关≠因果 | 《波多黎各 (Puerto Rico)》锦标赛中赢家买了工厂 (Factory) 的比例很高(假设 100 局中 95 局)。可能是工厂导致胜利;也可能反过来,领先者有动机买工厂;也可能是另一个失衡的早期购买同时导致买工厂和获胜(工厂只是症状);还可能根本无关,只是样本不够大时的统计巧合(原书指向 Tyler Vigen 的"伪相关"网站)。数据集够多时,总有一些会碰巧相关 |
频率学派与贝叶斯学派(p.597–598)
本书和多数教材用的是频率学派(期望值、显著性);贝叶斯学派更接近人的直觉推理:找手机时不仅循声而去,还结合平时常在哪里打电话的经验,先搜索与声音方向一致的常去地点。例题:可能不公平的硬币抛 100 次得 71 正 29 反,下一次是反面的概率是多少?频率学派答 29%;贝叶斯学派把概率本身当作有分布的随机变量(要用到 Beta 函数和一点微积分),答案略有不同,原书认为在现实中可能更合理。
(本 wiki 补算:若先验取均匀分布 Beta(1,1),后验为 Beta(30,72),下一次反面的预测概率为 ,即拉普拉斯继承法则。)
练习要点(p.598–601)
- 讨论题 1 回到相关的四种解释(与 数据分析与平衡 第 13 章的四种根因对应);第 2 题问概率与统计的区别(提取文本缺此题,本 wiki 渲染 PDF 第 639 页核对补全);其余各题复习均值远低于中位数、均值与中位数几乎相等(有几种可能)、标准差、如何提高显著性、离群值、Z 检验的前提与不适用场合、为何要看原始数据。
- 支线 24.1"游戏中的性别":行业女性比例低的五种解释(兴趣与文化、招聘信号劝退、无意识偏见、拒绝录用、纯属随机)各对应不同对策,要用统计辨别真正的问题。练习用 Z 检验判断工作室申请者中女性比例 10%(SD 5,5 年各一次招聘)与行业 15% 的差异是否显著;以及 100 名申请者中 20 名女性、10 名面试者中只有 1 名女性是否构成显著的筛选偏差(提示:把性别编码为 1/0 再算均值和 SD)。(本 wiki 按原书公式试算:申请者池 ,,,达到 95% 显著;面试筛选样本均值 0.1、总体 SD 0.3,,与 20% 比较 ,,不显著——十人样本太小。)
- 支线 24.2:《大达尔穆提 (The Great Dalmuti)》91 张牌(数字 的牌有 张,1–13)随机抽一张的均值、中位数、SD;简化版是面为 1,1,1,1,2,2,2,3,3,4 的 d10。(本 wiki 计算:91 张牌均值 9、中位数 10、SD ;d10 均值 2、中位数 2、SD 1。)
原书问题:
- 收入年份:51,939 美元与 72,641 美元是美国人口普查局公布的 2013 年家庭收入中位数与均值(报告 P60-249《Income and Poverty in the United States: 2013》,2014 年 9 月发布),原书写成"2014 年";2014 年的中位数为 53,657 美元(报告 P60-252)。两者的结论(均值远高于中位数)一样。
- 教程案例的自相矛盾:原书给出中位数 6 分钟、均值 5 分钟,并据此说"中位数高于均值",但同一段末尾又写"我们不知道是什么导致中位数短于均值 (median to be shorter than the mean)",方向写反了(p.587)。同页"我们会在下一章数据分析中回到这个概念"也不对:数据分析是第 13 章,在本章之前(本章开头自己就写了"In Chapter 13, we look specifically at analytics")。
- 大达尔穆提:原书设定为 1–13 各 张、共 张,本身自洽,可当作练习设定;但实物游戏是 80 张:1–12 各 张(78 张)加 2 张按 13 计的小丑 (Jester)。
PBRT 的视角:在线方差估计(PBRT 4e B.2.11)
- 朴素公式的问题:样本方差可以由 与 一次遍历求出,但这两项可能很大且接近,相减时灾难性抵消,误差很大。
- Welford 算法(Welford 1962):维护均值 与离差平方和 。书中把增量记作 ,可化为 ;每来一个样本,先更新 ,再令 ,方差为 。pbrt 的
VarianceEstimator实现它,Merge()用 Chan 等(1979)的公式合并两个估计器(适合每个线程各自统计后汇总)。 - 原书问题(以下公式均经网页 SVG 字形解码核实):
- 朴素公式印作 ,漏了因子 ,应为 。笔者用 1000 个 样本数值验证:两遍法方差 3.7468,按书中公式得 12.824,加上 后得 3.7468。
- Welford 更新印作 :(式 B.18):下标 应为 (这里 没有定义,推导只涉及第 个样本)。同一组样本按 递推得 3.7468,与两遍法一致。
出处
- Game_Balance_-_Ian_Schreiber_Brenda_Romero.pdf
- Ian Schreiber & Brenda Romero《Game Balance》第 1 版(CRC Press, 2022, ISBN 978-1-4987-9957-7)第 24 章 Statistics(印刷页 p.583–602)
- PBRT 4e source excerpt: chapter B (Utilities)
- Pharr, Jakob, Humphreys《Physically Based Rendering: From Theory to Implementation》第 4 版(MIT Press, 2023)附录 B B.2–B.7 节与延伸阅读,pbr-book.org/4ed/Utilities