按时间顺序，依次研究光照一致的视频换脸技术，重点研究的光照估计难题，基于光照估计和球谐照明解决的数字人背景替换难题。
关键词：光照，人脸。
视频人脸的本征图分解及在换脸中的应用
2021年到2022年，本科毕设期间完成。
基于联合表达模型的光照估计
2022年到现在，图形学顶刊CCF-A TVCG在投。
光照估计用于虚拟现实，得到逼真的效果：
让我们旋转光照，旋转视角，得到更炫酷的效果：
高真实感内容生成关键技术
2023年到现在，读研期间GJ重点研发计划项目。
方案1
数字人背景替换和融合的技术框架：
更多重光照结果：
该方案首先进行数字人的几何重建，然后通过光照估计和球谐照明模型实现数字人材质与光照的解耦，最终达到随背景修改空间光照也即前、背景的光照一致。
这种方案的优点是 适用于任何几何易得的数字人重建方法，即插即用。然而，受限于当前材质与光照精确估计和解耦的高度困难性，更受限于实时渲染的要求，此方法实现的重光照主要是低频的，缺少一些高光。
方案2
针对这个缺陷，本人认为在一些重光照场景中也可以避开传统的“重建-解耦-渲染”思路，引入AIGC方法强大的知识，反而更容易“渲染”（实际上是直接生成）出逼真的重光照肖像。
为此，提出方案2，一种基于stable diffusion (SD)和ControlNet的人物重光照架构。下面展示方案2的一组效果图。
控制图像，作为输入的条件引导网络对人物进行重光照（是一张RGBA，这里看起来只有人物前景的信息，实际上因为alpha=0而不可见的部分还有比较充足的新背景信息）。
重光照结果：
可以看到，人脸上的高光非常逼真。这得益于SD在非常大的真实数据集上训练过，能够轻松生成传统图形学要费很多精力才能够模拟出来一些真实的光照现象。
- GT图像：
重光照的结果也很接近GT。这主要得益于ControlNet让SD学会了使用控制图像中的新背景部分引导生成人物的光照分布。