中EN
概念页

描述统计与显著性检验

Descriptive Statistics & Significance Testing

概率是"已知随机过程、预测结果",统计则反过来——"已知结果数据、反推随机过程的性质"。Schreiber 与 Romero 第 24 章(p.583–602)给出设计师分析试玩与运营数据最常用的工具:均值、中位数与标准差的对照解读,离群值的处理,统计显著性与 Z 检验,相关系数,以及安斯库姆四重奏、样本量、样本偏差、埋点 bug、相关≠因果等常见错误。本页还补充了原书对 p 值的解释与主流统计学观点的分歧。

统计与概率(p.583–584)

原书开篇指出游戏平衡会触及其他领域:第 21 章伪随机数接近编程,第 20 章心理学引出职业伦理,第 11 章用关卡美术作为进度奖励;本章则借衡量玩家消费行为等,把游戏设计与商业连起来。

统计学并不是"冷冰冰的硬数据",它很混乱,连专业统计学家对基本原则都有分歧。与概率一样,它不提供保证:统计可以说"有 95% 把握这些结果与公平 d6 一致",这意味着仍有 5% 可能是错的;数据越多把握越大,但出错的可能永远不为零。数据分析如何落地到游戏平衡见 数据分析与平衡。

均值、中位数、标准差(p.584–588)

  • 均值 m=v1+⋯+vnnm=\frac{v_1+\dots+v_n}{n}:实际数据的平均,期望值是理论上的平均,两者通常接近。
  • 中位数:排序后取中间值(偶数个取中间两个的均值)。"总有一半人低于平均"说的是中位数。
  • 两者对照才有信息量:均值远高于中位数 → 高端有少数极大值(原书例:美国家庭收入中位数 51,939 美元、均值 72,641 美元——收入难以远低于零,高端却有亿万富翁;游戏排行榜同理,少数高手刷出极高分);中位数高于均值 → 低端有极小值拉低均值(全班 75–85 分,一个人零分);两者接近 → 没有极端值,或两端极端值大致对称。
  • 标准差:SD=∑(vi−m)2nSD=\sqrt{\frac{\sum(v_i-m)^2}{n}},表示数据有多分散;大约三分之二数据落在均值 ±1 SD 内,九成以上落在 ±2 SD 内(正态分布约 68% 与 95%)。SD 要相对均值来看:均值 50、SD 25 很分散,均值 5000、SD 25 很集中。例:1d11+1 与 2d6 范围都是 2–12,期望都是 7,但前者均匀分布、SD 约 3.2(原书写"约 3.3",本 wiki 按 (112−1)/12=10≈3.16\sqrt{(11^2-1)/12}=\sqrt{10}\approx3.16 算),±1 SD 是 4–10;2d6 的 SD 约 2.4,±1 SD 是 5–9。

案例:教程关时长(p.586–588)。目标 5 分钟;实测均值 5 分钟、中位数 6 分钟、SD 2 分钟。多数人 3–7 分钟,对线性教程来说范围偏大;中位数高于均值说明多数人超过 5 分钟(教程太长),而少数人飞快通过——可能找到了捷径或漏洞,或跳过了所有对话,之后可能因不懂核心机制而卡住;好消息是没人花几个小时(否则均值会远高于中位数)。三个数字就能发现问题,但不能说明原因:要列出所有可能解释,再收集能区分它们的数据(例如另外记录读对话的时间并重新测试)。还要注意样本量:只有三个测试者时这些数字几乎没有意义,几千次测试才可信。

离群值(p.588–589)

远离均值的点叫离群值 (outliers),均值与中位数明显分离时多半是它们造成的。找常规玩法时应剔除(按定义它们不来自典型玩法);找边界情况时要保留并重点关注(例如决定排行榜要显示几位数字,榜首全是离群值)。无论如何都值得追查原因:教程多数人 5–7 分钟而少数人 1–2 分钟 → 查捷径或漏洞;唯一一个人花了一小时 → 多半是暂停离开;好几个人都这样 → 可能把关卡当沙盒玩得开心,也可能根本没看懂某个基本机制却礼貌地没有退出——都值得知道。

统计显著性与 Z 检验(p.589–592)

改版前后或 A/B 测试后比较两组数据时,要判断差异是真实的还是随机波动——100d6 随机分成两组 50d6,均值和 SD 也会略有不同。永远无法完全确定;能做的是计算出错的概率,并设定显著性门槛:门槛太低会看到许多虚假趋势,太高则会忽略真实趋势。多数领域用 95% 置信度(最多 5% 出错可能),这是在结论正确率和实验成本之间的折中——要求一万名测试者,大多数开发者就什么结论也得不出。

Z 检验三步:

  1. 标准误 SE=SDnSE=\dfrac{SD}{\sqrt n};
  2. z=m样本−m总体SEz=\dfrac{m_{\text{样本}}-m_{\text{总体}}}{SE};
  3. 查表或在电子表格中用 NORMSDIST(z),得到总体中随机一组数据低于样本均值的概率。

限制:必须已有既定均值作比较(比较两组数据时选一组当"既定");假设数据近似正态分布(比较两组 1d12 就不太合适)。

例:1000 人初测教程均值 300 秒、SD 120 秒;改版后 16 人复测均值 280 秒、SD 120 秒。SE=120/16=30SE=120/\sqrt{16}=30,z=−20/30=−2/3z=-20/30=-2/3,NORMSDIST(-2/3) =0.2525=0.2525。原书解读为"约 25% 可能是随机波动、约 75% 可能是改动起了作用",结论是改动可能有效但未达显著;增加测试人数可以提高显著性。

观点分歧:p 值的含义

原书主流统计学
Φ(z)=0.25\Phi(z)=0.25 表示什么"25% 的可能是随机波动,75% 的可能是改动造成的"0.25 是假设改动无效时,看到至少这么低均值的概率(单侧 p 值),它不是"改动无效"的概率;要得到后者需要先验,即贝叶斯分析
95% 显著性已发表的研究"可能有多达 1/20 的结论是错的"5% 是无效假设为真时的假阳性率;已发表结论的实际错误率取决于检验功效和先验比例,可能远高于 5%

依据:美国统计协会《关于统计显著性与 p 值的声明》(Wasserstein & Lazar, The American Statistician 70(2):129–133, 2016)原则 2:"p 值不衡量所研究假设为真的概率,也不衡量数据仅由随机机会产生的概率";Ioannidis, "Why Most Published Research Findings Are False", PLoS Medicine 2(8):e124, 2005。原书"未达显著、需要更多样本"的实际建议仍然成立。

相关(p.592–593)

用于判断两件事是否有关:某张卡是否与胜利相关、格斗游戏中角色与对局时长、跑团中哪些职业常一起组队。正相关同涨同跌,负相关此涨彼跌,说的是趋势而非绝对。相关系数在 −1 到 1 之间,电子表格用 CORREL(array1,array2)(两组数据须等长且一一对应);±1 为完全相关,0 为不相关。由于噪声,强相关很少恰好 ±1,不相关也很少恰好 0。

常见错误(p.593–598)

马克·吐温推广了"谎言、该死的谎言和统计数字"这句话(他本人将其归于迪斯雷利,出处至今未明)——统计不是没用,而是不小心就会"骗"你。

错误原书要点
只看统计量安斯库姆四重奏 (Anscombe's Quartet):四组各 11 个点,分别是带误差的线性、抛物线、强线性加一个离群点、竖直线加一个离群点,但 x 均值都是 9、y 均值都是 7.5,SD 几乎相同,相关系数也相同。一定要把原始数据画出来
样本太小玩家把《万智牌》牌组分成若干起手牌试抽,觉得地牌够了就参赛,结果一直缺地——事后才发现 60 张里只有 16 张地(常见约 20 张);某次洗牌恰好地牌很均匀,样本太小得不出有意义的结论
样本偏差让开发组试玩休闲游戏来估难度,但开发者不是休闲玩家,熟练度和内部知识都远高于目标用户;焦点小组一致要求把女主角换成男主角,若游戏面向大众而焦点小组全是男性,结论就无效。招募与目标市场相似的测试者,并且越多越好
埋点编程数据采集要占用程序时间,常和音频、本地化、测试一样被拖到开发末期草草完成;要尽早强调其重要性。代码有 bug,数据可能完全错误:始终检查原始数据,并手工独立采集部分数据抽查(例如亲自数一名测试者在某关死了几次,再与软件记录对比)
算错概率有自带的合理性检查(小于 0 或大于 1 就是错的),统计往往不知道预期答案,所以要用一切方法独立验证
相关≠因果《波多黎各 (Puerto Rico)》锦标赛中赢家买了工厂 (Factory) 的比例很高(假设 100 局中 95 局)。可能是工厂导致胜利;也可能反过来,领先者有动机买工厂;也可能是另一个失衡的早期购买同时导致买工厂和获胜(工厂只是症状);还可能根本无关,只是样本不够大时的统计巧合(原书指向 Tyler Vigen 的"伪相关"网站)。数据集够多时,总有一些会碰巧相关

频率学派与贝叶斯学派(p.597–598)

本书和多数教材用的是频率学派(期望值、显著性);贝叶斯学派更接近人的直觉推理:找手机时不仅循声而去,还结合平时常在哪里打电话的经验,先搜索与声音方向一致的常去地点。例题:可能不公平的硬币抛 100 次得 71 正 29 反,下一次是反面的概率是多少?频率学派答 29%;贝叶斯学派把概率本身当作有分布的随机变量(要用到 Beta 函数和一点微积分),答案略有不同,原书认为在现实中可能更合理。

(本 wiki 补算:若先验取均匀分布 Beta(1,1),后验为 Beta(30,72),下一次反面的预测概率为 30/102≈29.4%30/102\approx29.4\%,即拉普拉斯继承法则。)

练习要点(p.598–601)

  • 讨论题 1 回到相关的四种解释(与 数据分析与平衡 第 13 章的四种根因对应);第 2 题问概率与统计的区别(提取文本缺此题,本 wiki 渲染 PDF 第 639 页核对补全);其余各题复习均值远低于中位数、均值与中位数几乎相等(有几种可能)、标准差、如何提高显著性、离群值、Z 检验的前提与不适用场合、为何要看原始数据。
  • 支线 24.1"游戏中的性别":行业女性比例低的五种解释(兴趣与文化、招聘信号劝退、无意识偏见、拒绝录用、纯属随机)各对应不同对策,要用统计辨别真正的问题。练习用 Z 检验判断工作室申请者中女性比例 10%(SD 5,5 年各一次招聘)与行业 15% 的差异是否显著;以及 100 名申请者中 20 名女性、10 名面试者中只有 1 名女性是否构成显著的筛选偏差(提示:把性别编码为 1/0 再算均值和 SD)。(本 wiki 按原书公式试算:申请者池 SE=5/5≈2.24SE=5/\sqrt5\approx2.24,z≈−2.24z\approx-2.24,Φ(z)≈0.013\Phi(z)\approx0.013,达到 95% 显著;面试筛选样本均值 0.1、总体 SD 0.3,SE≈0.095SE\approx0.095,与 20% 比较 z≈−1.05z\approx-1.05,Φ≈0.15\Phi\approx0.15,不显著——十人样本太小。)
  • 支线 24.2:《大达尔穆提 (The Great Dalmuti)》91 张牌(数字 kk 的牌有 kk 张,1–13)随机抽一张的均值、中位数、SD;简化版是面为 1,1,1,1,2,2,2,3,3,4 的 d10。(本 wiki 计算:91 张牌均值 9、中位数 10、SD 10≈3.16\sqrt{10}\approx3.16;d10 均值 2、中位数 2、SD 1。)

原书问题:

  1. 收入年份:51,939 美元与 72,641 美元是美国人口普查局公布的 2013 年家庭收入中位数与均值(报告 P60-249《Income and Poverty in the United States: 2013》,2014 年 9 月发布),原书写成"2014 年";2014 年的中位数为 53,657 美元(报告 P60-252)。两者的结论(均值远高于中位数)一样。
  2. 教程案例的自相矛盾:原书给出中位数 6 分钟、均值 5 分钟,并据此说"中位数高于均值",但同一段末尾又写"我们不知道是什么导致中位数短于均值 (median to be shorter than the mean)",方向写反了(p.587)。同页"我们会在下一章数据分析中回到这个概念"也不对:数据分析是第 13 章,在本章之前(本章开头自己就写了"In Chapter 13, we look specifically at analytics")。
  3. 大达尔穆提:原书设定为 1–13 各 kk 张、共 1+⋯+13=911+\dots+13=91 张,本身自洽,可当作练习设定;但实物游戏是 80 张:1–12 各 kk 张(78 张)加 2 张按 13 计的小丑 (Jester)。

PBRT 的视角:在线方差估计(PBRT 4e B.2.11)

  • 朴素公式的问题:样本方差可以由 ∑Xi2\sum X_i^2 与 Xˉ\bar X 一次遍历求出,但这两项可能很大且接近,相减时灾难性抵消,误差很大。
  • Welford 算法(Welford 1962):维护均值 Xˉn\bar X_n 与离差平方和 Sn=∑i≤n(Xi−Xˉn)2S_n=\sum_{i\le n}(X_i-\bar X_n)^2。书中把增量记作 Mn=Sn−Sn−1M_n=S_n-S_{n-1},可化为 Mn=(Xn−Xˉn)(Xn−Xˉn−1)M_n=(X_n-\bar X_n)(X_n-\bar X_{n-1});每来一个样本,先更新 Xˉn=Xˉn−1+(Xn−Xˉn−1)/n\bar X_n=\bar X_{n-1}+(X_n-\bar X_{n-1})/n,再令 Sn=Sn−1+MnS_n=S_{n-1}+M_n,方差为 Sn/(n−1)S_n/(n-1)。pbrt 的 VarianceEstimator 实现它,Merge() 用 Chan 等(1979)的公式合并两个估计器(适合每个线程各自统计后汇总)。
  • 原书问题(以下公式均经网页 SVG 字形解码核实):
    1. 朴素公式印作 1n−1(∑i=1nXi2−Xˉ2)\frac{1}{n-1}\left(\sum_{i=1}^n X_i^2-\bar X^2\right),漏了因子 nn,应为 1n−1(∑Xi2−nXˉ2)\frac{1}{n-1}\left(\sum X_i^2-n\bar X^2\right)。笔者用 1000 个 N(3,22)N(3,2^2) 样本数值验证:两遍法方差 3.7468,按书中公式得 12.824,加上 nn 后得 3.7468。
    2. Welford 更新印作 Mn=(Xn−Xˉn)(Xi−Xˉn−1)M_n=(X_n-\bar X_n)(X_i-\bar X_{n-1}):(式 B.18):下标 XiX_i 应为 XnX_n(这里 ii 没有定义,推导只涉及第 nn 个样本)。同一组样本按 XnX_n 递推得 3.7468,与两遍法一致。
  1. Game_Balance_-_Ian_Schreiber_Brenda_Romero.pdf
  2. Ian Schreiber & Brenda Romero《Game Balance》第 1 版(CRC Press, 2022, ISBN 978-1-4987-9957-7)第 24 章 Statistics(印刷页 p.583–602)
  3. PBRT 4e source excerpt: chapter B (Utilities)
  4. Pharr, Jakob, Humphreys《Physically Based Rendering: From Theory to Implementation》第 4 版(MIT Press, 2023)附录 B B.2–B.7 节与延伸阅读,pbr-book.org/4ed/Utilities

相关页面

游戏策划数据分析与平衡Analytics for Game BalanceSchreiber 与 Romero 第 13 章讲平衡的第四种方法——数据分析 (analytics):区分指标与分析,给出从提出关键问题到据数据改游戏的 12 步流程、四类分析问题、从观察到统计模型的五级结论强度,再用格斗/乱斗游戏与 MOBA 的案例演示如何从胜率、选用率逐层下钻到招式与玩家水平,最后给出数据可视化的经验法则(p.329–357)。游戏策划概率与期望值Chance & Expected Value机会 (chance) 是 Schell 七类机制的最后一类(第 3 版第 12 章 Mechanic 7: Chance;第 1 版为第 10 章、六类中的第六类),涉及其他五类之间的交互:机会意味着不确定,不确定意味着惊喜,而惊喜是乐趣的秘密成分。设计师要掌握十条概率规则、会算期望值 (expected value),并同时考虑实际概率与玩家的感知概率,以及技能与运气的五种纠缠(第 10 章)。游戏策划概率直觉与认知偏差Probability Intuition & Cognitive BiasesSchreiber 与 Romero 第 20 章讨论真实概率在人类心理中如何走样:期望值不等于效用(赔率、频率、金额门槛都影响意愿),一系列认知偏差与谬误让玩家把公平的随机感知为不公平;设计上的应对有三类——利用偏差(作者明确视为"黑暗面")、按偏差修改概率(并讨论其伦理)、以及诚实地公开随机结果与改进界面(p.491–508)。游戏策划游戏测试Playtesting游戏测试是把幻想中的玩家体验拉回现实的"闹钟"。Schell 区分四种测试——焦点小组、QA、可用性测试、游戏测试——本章只谈设计师最关心的游戏测试:请人来玩,看游戏是否产生了它被设计要产生的体验。Schell 坦白自己讨厌测试(怕别人不喜欢自己的游戏),但这正是测试的意义。每次测试由六个问题定义:为什么、谁、何时、在哪、看什么、怎么做(第 3 版新增"何时"),并补充 WUBALEW、FFWWDD 等 Schell Games 的实用做法(第 3 版第 28 章 Good Games Are Created through Playtesting)。图形学蒙特卡洛积分与重要性采样Monte Carlo Integration & Importance Sampling渲染方程里的半球积分没有闭式解,只能数值积分。蒙特卡洛积分在定义域里随机取样、按概率密度加权求平均,期望值正好等于积分真值,误差随样本数 N 按 1/\sqrt{N} 下降,而且与积分维数无关,所以成了光线追踪类渲染的数学基础。降低误差的主要手段是让采样分布接近被积函数的形状,也就是重要性采样(GEA4 卷 II 12.6.2、12.6.4)。游戏策划电子表格平衡技法Spreadsheet Techniques for Game BalanceSchreiber 与 Romero《Game Balance》第三部分(第 26–37 章,p.639–738)是一套面向数值策划的电子表格教程,示例以 Google Sheets 为主,目标是从"从没听说过"到"熟练自如"。本页整理其中与表格本身的搭建和组织有关的部分(第 26–30、33、34、36 章):基本操作、公式填充与趋势线、相对/绝对引用、成本曲线表的布局与条件格式、单元格类型的配色约定、日期函数和图表,最后列出已经过时或说法有误的地方。随机与统计函数、穷举与蒙特卡洛、洗牌与掉落表、逐回合模拟和矩阵运算(第 31、32、35、37 章)内容较多,单独整理在 电子表格中的随机模拟游戏策划电子表格中的随机模拟与矩阵求解Spreadsheet Simulation & Matrix Solving《Game Balance》第三部分里与"算概率、做模拟"有关的四章:第 31 章随机、统计与条件函数及"穷举还是蒙特卡洛",第 32 章洗牌与加权掉落表,第 35 章用迭代计算或逐行展开做逐回合模拟,第 37 章在表格里跑马尔可夫链、解收益矩阵和用规划求解。表格的布局、格式与组织规范见 电子表格平衡技法;本页对照原书逐段核对,并标出已过时或有误的说法。游戏数学数值表示与浮点数Numeric Representation & Floating Point游戏引擎里到处是数值,所以要清楚它们在机器中如何存储:二进制和十六进制、补码整数、定点数、IEEE-754 浮点数(量级与精度此消彼长、次正规数、机器 epsilon、ULP),以及多字节值的大小端问题和安全的类型双关 (type punning) 方法。书中一个直观的例子是:用 32 位浮点数记录以秒为单位的游戏时钟,大约 12.14 天后,加 1/30 秒就不再改变它的值。

输入关键词开始搜索

滚轮或双指缩放 · 拖动平移 · 双击放大 / 还原