VENI：用于自然光照的变分编码器
VENI: Variational Encoder for Natural Illumination
提供了一种在球面上直接建模光照环境的旋转等变变分自编码器，其 SO(2)-等变全连接层和 VN-ViT 编码器可复用于任何需要球面信号（如环境贴图、全景图）等变表征的视觉任务，并给出了更平滑的潜空间插值方案。
原文依据 We propose a rotation-equivariant variational autoencoder that models natural illumination on the sphere without relying on 2D projections.
摘要译文
由模型翻译 · 术语统一 · 请对照原文核对关键结论逆渲染是一个不适定问题，但光照先验等先验知识有助于简化该问题。现有工作要么忽略了光照环境的球面性和旋转等变性，要么未能提供性质良好的潜空间。我们提出一种旋转等变变分自编码器，直接在球面上对自然光照建模，而不依赖二维投影。为保持环境贴图的 SO(2) 等变性，我们采用一种新颖的向量神经元视觉 Transformer（VN-ViT）作为编码器，并使用旋转等变条件神经场作为解码器。在编码器中，我们通过一种新颖的 SO(2) 等变全连接层（向量神经元的扩展）将等变性从 SO(3) 约简为 SO(2)。我们表明，在 SO(2) 等变模型中使用时，我们的 SO(2) 等变全连接层优于标准向量神经元。与先前方法相比，我们的变分自编码器能够在潜空间中实现更平滑的插值，并提供性质更良好的潜空间。
英文原文摘要 1022 字符
Inverse rendering is an ill-posed problem, but priors such as illumination priors can help simplify it. Existing work either disregards the spherical and rotation-equivariant nature of illumination environments or does not provide a well-behaved latent space. We propose a rotation-equivariant variational autoencoder that models natural illumination on the sphere without relying on 2D projections. To preserve the SO(2)-equivariance of environment maps, we use a novel Vector Neuron Vision Transformer (VN-ViT) as encoder and a rotation-equivariant conditional neural field as decoder. In the encoder, we reduce the equivariance from SO(3) to SO(2) using a novel SO(2)-equivariant fully connected layer, an extension of Vector Neurons. We show that our SO(2)-equivariant fully connected layer outperforms standard Vector Neurons when used in our SO(2)-equivariant model. Compared to previous methods, our variational autoencoder enables smoother interpolation in latent space and offers a more well-behaved latent space.