图像处理与后处理

全屏 pass

• 场景先渲染到离屏的颜色和/或深度缓冲，再作为纹理贴到覆盖全屏的图元上，使像素着色器对每个像素执行一次。一帧可能有大量这样的 pass，例如《战地 4》有五十多种渲染 pass（并非每帧都用）。
• 用一个足够大的全屏三角形代替两个三角形组成的四边形更高效：在 AMD GCN 上因缓存一致性更好，快近 10%。
• 也可用计算着色器做图像处理，滤波核越大优势越明显：线程组共享内存可在像素间共享读取，降低带宽。

滤波核

• 每个邻居的贡献按其相对位置加权求和；边缘检测等用固定邻域（如 3×3）且权重可为负。
• 旋转不变滤波核的权重只取决于到中心的距离，如 sinc 和高斯：

$\mathrm{Gaussian}(x)=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{r^2}{2\sigma^2}}$

$r$ 为到纹素中心的距离，$\sigma$ 为标准差（$\sigma^2$ 为方差）。经验法则：支撑宽度起码取 $3\sigma$ 像素，更宽则更模糊但内存访问更多。离散核会把权重归一化到和为 1，所以前面的常数可以省略。sinc 和高斯都无限延伸，实际截断到一定直径或方形区域。σ=1 的 5×5 高斯核中心权重为 0.1621。

• 屏幕边缘会采样到不存在的纹素：可把采样器设为 clamp to edge（边缘有误差但通常不明显），或以略高于显示区的分辨率渲染。

减少采样的技巧

双边滤波

• 丢弃或削弱看起来与中心样本表面无关的样本，以保持边缘。例：对焦在红色物体上，背景蓝色物体应模糊而红色保持清晰——只用非红色样本模糊，并按实际使用的权重和归一化（书中例子权重和为 0.8755）。
• 联合（交叉）双边滤波用深度、法线、ID、速度等额外数据判断邻居是否可用。Ownby 等对少样本阴影贴图的结果做模糊，并按深度剔除其他表面的样本，避免阴影渗到别的物体。这种降低区域变化的操作称降噪，SSAO 中常用。
• 只用深度不够：软阴影跨过立方体两个面的棱时深度连续，会渗到背光面；同时比较深度和法线即可，因此也叫边缘保持滤波。如何削弱邻居取决于模型、算法和观察条件。
• 代价：可分离两遍和双线性合并采样都难用（事先不知哪些样本要丢），不过因可分离太划算，已有近似做法；严格说双边滤波不可分离（每像素样本数可变），当作可分离处理的伪影常被其他着色效果掩盖。
• 上采样：Yang 等低分辨率着色，再用法线和深度做双边上采样；最近深度滤波取低分辨率四个样本中深度最接近高分辨率深度的那个。低分辨率渲染会丢失细节，Herzog 等借助时间相干和重投影改进。

管线组织

• 乒乓缓冲：两个离屏缓冲轮流作为输入和输出，中间结果是临时 (transient) 资源；管理和复用临时资源是现代渲染系统设计的关键。
• 每个效果一个 pass 架构上方便，但为了效率最好把尽可能多的效果合并进一个 pass。
• 常见效果：热成像、胶片颗粒、色差、边缘检测、热浪扭曲、涟漪、色调分离、辅助云渲染等，很多只需颜色图像作输入。

GEA 的视角：全屏后期效果（卷 II 12.7）

• 场景画进帧缓冲后，在视频硬件扫描输出之前通常还要做一系列后处理（卷 II 12.7）。
• 全屏后期效果给 3D 场景增加真实感或风格化外观，通常把整个屏幕内容送进一个像素着色器：画一个全屏四边形，贴上未经滤波的场景纹理（卷 II 12.7.2）。这与本页「全屏 pass」一致。GEA 列举的例子：
  • 运动模糊：渲染屏幕空间速度向量缓冲，用这个向量场有选择地模糊图像；模糊用卷积核在图像上滑过实现（GEA 推荐 Dale A. Schumacher 的《Image Smoothing and Sharpening by Discrete Convolution》，收录于 Graphics Gems II）（见 运动模糊）。
  • 景深模糊：用深度缓冲的内容调整每个像素的模糊程度（见 景深）。
  • 暗角 (vignette)：降低屏幕角落的亮度或饱和度，有时直接在屏幕上叠一张纹理；它的变体用来做望远镜或狙击镜的圆形视野。
  • 调色 (colorization)：任意改变像素颜色，例如把红色以外都去饱和成灰色，效果类似《辛德勒的名单》里穿红衣的小女孩。
  • SSAO（见 环境光遮蔽）。
• HDR 与色调映射也被 GEA 归入后处理，见 色调映射。降噪同样是一个后处理步骤，见 随机光线追踪与路径追踪。