可微渲染与神经渲染

为什么需要可微渲染（16.3.1）

• 正向渲染是函数 $f:\mathcal X\to\mathcal Y$。逆问题出现在自动驾驶、机器人、生物医学成像、显微镜、建筑设计等领域。它本身是歧义的：表面上的一个亮斑可以用纹理、形状、光源、别处的聚焦反射来解释，甚至可以解释为其他地方都在阴影中。消除歧义需要多次观测和考虑光传输相互耦合的重建方法，所以基于物理的方法是前提，而不只是加分项。
• 直接求逆只在强简化假设下可行：X 射线 CT 假设介质只吸收，一遍处理就能得到三维密度；但骨骼或金属碎片反射 X 射线时就会出现伪影。
• 因此改为松弛的最小化问题（16.1），常加只依赖参数的正则项 $R(\mathbf x)$，或者优化 $g(f(N(\mathbf w)))$，其中网络 $N$ 生成场景。这类方法称为分析-综合 (analysis-by-synthesis)。迭代法需要初值、可能不收敛到最优；参数化方式影响凸性（直接优化三角网格很脆弱，隐式曲面表现更好，见 隐式曲面与有符号距离函数）。
• 维度举例：一张 $768\times768$ 的 RGB 纹理就有约 170 万维（笔者核算 $768^2\times3=1{,}769{,}472$）。
• 一次迭代按链式法则拆成四步（16.3）：渲染 $\mathbf y\leftarrow f(\mathbf x)$；对损失求导得图像空间梯度 $\delta_{\mathbf y}$；转换为参数空间梯度 $\delta_{\mathbf x}=\delta_{\mathbf y}J_f$；沿梯度走一步。第 4 步实际多用 Adam（Kingma–Ba 2014）等带动量的变体，Nicolet 等 2021 用预条件加速网格优化。第 3 步是核心难点：$J_f\in\mathbb R^{m\times n}$ 中 $m$（像素数）和 $n$（参数数）都可达数百万，无法存储，只能直接计算乘积。

发展脉络

• 为什么不连续是问题：交换微分与积分（16.4）只在被积函数关于积分变量连续时成立。轮廓处 $L_i(\mathbf p,\omega)$ 关于 $\omega$ 跳变，参数扰动会让跳变位置移动，需要额外的边界项。Li 等用像素重建滤波器积掉主可见性的不连续，并用层次结构在轮廓边上额外采样处理次级可见性。
• 偏差与方差：正向和导数计算若用相同随机数会相关，梯度有偏，需用不同种子去相关（Gkioulekas 等 2016、Azinović 等 2019）。导数被积函数有正有负，逆变换等标准采样不再是方差最优；"先求导再重要性采样"与"先采样再求导"并不相同（Zeltner 等 2021）；Zhang 等 2021a 用对偶采样降低光泽相互反射下的几何梯度方差。
• 机器学习与渲染负载的差异：机器学习是少量高算术强度的运算（矩阵乘、卷积），渲染是海量简单运算，并且处处是光线追踪和多态调用，所以需要专门的 AD/JIT 框架。
• 反向模式需要按逆序访问前向的中间值，要么存储、要么反复重算，内存容易耗尽，这正是辐射反向传播要解决的。

机器学习与渲染（16.3.2）

1. 学习的数据结构：Nowrouzezahrai 等 2009（球谐系数）、Dachsbacher 2011（可见性）、Ren 等 2013（辐射分布）；书中各章提到的神经材质（Rainer 等 2019/2020、Kuznetsov 等 2021，见 测量 BRDF 与数据驱动反射模型）、神经光源（Zhu 等 2021）、用于引导采样的辐射分布（Müller 等 2019–2021）。广义上 Vorba 等 2014 的高斯混合乃至辐照度缓存也可视为学习的数据结构。难点：蒙特卡洛不仅要能求值，还要能按匹配分布采样并给出密度（见 蒙特卡洛积分与重要性采样）；常需在线学习。NeRF（Mildenhall 等 2020）是体积表示，给出某点某方向的辐亮度和不透明度，因为基于体渲染（见 参与介质与体积散射），还避开了上面的不连续问题。
2. 改进传统渲染结果：神经降噪。书中图 16.2：32 spp 噪声图加反照率、法线两张特征图，OptiX 7.3 降噪器几十毫秒得到无噪图像；而蒙特卡洛误差只以 $O(n^{-1/2})$ 下降，靠加样本代价太大。由此引出的问题：渲染器的输出交给网络时，它的任务不再是生成最准确或最好看的图，而是生成最容易被网络转换的输出（Cho 等 2021 把路径信息直接输入降噪器）。更激进的有 GANcraft（Hao 等 2021）、deep shading（Nalbach 等 2017，从 G-buffer 合成昂贵效果）、Granskog 等 2020、神经风格迁移（Gatys 等 2016），艺术控制仍是开放问题。
3. 直接合成：Hermosilla 等 2019、Chen 等 2021 让网络学习整个渲染算法；StyleGAN（Karras 等 2018/2020）、基于分割图的合成（Chen–Koltun 2017、Park 等 2019）完全不用传统渲染；综述见 Tewari 等 2020。

与其他来源的对照

• 随机光线追踪与路径追踪 中 GEA 把降噪当作交互帧率下不得不加的后处理步骤；PBRT 第 16 章更进一步，认为"多数基于物理的渲染器现在都配合降噪器使用"，并提出渲染器设计目标本身可能因此改变。两者不矛盾，但侧重点不同：前者关注实时预算，后者关注渲染器与网络的分工。

原书问题

• 式 (16.3) 第 4 步写作 $\mathbf x\leftarrow\mathbf x+\alpha\delta_{\mathbf x}$（已解码网页 SVG 确认是加号），而第 2 步 $\delta_{\mathbf y}\leftarrow J_g(\mathbf y)$ 是损失的梯度，于是 $\delta_{\mathbf x}=\partial g/\partial\mathbf x$，加号变成梯度上升，与式 (16.2) 的减号矛盾。紧随其后的括注"$\delta_{\mathbf y}$ 的正分量表示增大该像素会降低损失"也只在 $\delta_{\mathbf y}=-J_g$ 时成立。自洽的改法是二选一：第 2 步取 $-J_g$（括注与加号都对），或保持 $J_g$、把第 4 步改为减号并改写括注。
• 16.3.1 括注说 X 射线波长"在 0.1–10 nm 范围"。按 Wikipedia「X-ray」条目，X 射线约为 10 pm–10 nm（0.01–10 nm，光子能量约 100 eV–100 keV），下限差了 10 倍。按 $\lambda[\text{nm}]\approx1.24/E[\text{keV}]$ 换算，诊断 CT 常用的数十 keV 光子（如 50 keV 对应约 0.025 nm）恰好落在书中给出的范围之外，而书中正是用 CT 举例。
• 参考文献：Mitsuba 2（Nimier-David 等 2019）标为 "Proceedings of SIGGRAPH 2019"，但 TOG 38(6)（2019 年 11 月，DOI 10.1145/3355089.3356498）是 SIGGRAPH Asia 2019 论文集。
• 正文 "Adam (Kigma and Ba 2014)" 中作者名应为 Kingma（参考文献列表中拼写正确）。