光照估计算法测评

算法及其改进版本效果对比评估

	styleLight			emlight			ours			ours-1			ours-1&2
指标\球体材质	朗伯	哑银	镜面	朗伯	哑银	镜面	朗伯	哑银	镜面	朗伯	哑银	镜面	朗伯	哑银	镜面
RMSE	0.181	0.218	0.207	0.202	0.274	0.275	0.214	0.330	0.352	0.216	0.331	0.352	0.158	0.258	0.281
si-RMSE	0.055	0.147	0.155	0.065	0.147	0.160	0.058	0.150	0.160	0.057	0.149	0.160	0.040	0.137	0.154
Angular error	5.25	6.63	8.04	12.46	14.19	17.51	11.71	17.12	19.41	11.08	16.72	19.19	5.49	9.33	12.45

结果分析

ours-1在纠正了一些被估计成负数的高频高斯光源，使得三种材质上的si-RMSE和Angular error两个指标较ours都有进步。虽有进步，但是哑银和镜面两种材质上仍未能超过emlight。
RMSE不降低反而升高，这是因为RMSE主要衡量对光源强度估计的准确性。ours对光源强度的估计是偏大的，ours中的“负光源”被修改为0之后，对光强的估计更加偏大，导致RMSE恶化。

ours-1&2在ours-1的基础上改进了低频shlight部分，使得三个指标在三种材质上都得到了大幅改善，并超过了emlight。这说明低频shlight对整个组合光照模型的影响很大。

注
几种改进措施：

1. emlight负值纠正
2. shlight训练时sh系数*reexpose;
   新的loss设计，包括新增渲染loss分量，以及更符合球面空间的weighted_l2loss。

各组详情

ours组使用的是：

• shlight-on10000imgs-2000epochs的第1200个epoch上的训练结果
• ln128-on10000imgs上的1200_net.pth

基于ours-1&2寻找最优shlight模型

1. shlight-on19356imgs-rd*10-*alpah/10_net.pth
   （最好的一个模型）
   render_sph_hdr_pred diffuse
   Average Masked RMSE: 0.158
   Average Masked si-RMSE: 0.040
   Average Masked Angular Error: 5.49

render_sph_hdr_pred glossy
Average Masked RMSE: 0.258
Average Masked si-RMSE: 0.137
Average Masked Angular Error: 9.33

render_sph_hdr_pred mirror
Average Masked RMSE: 0.281
Average Masked si-RMSE: 0.154
Average Masked Angular Error: 12.45

2. shlight-on19356imgs-rd*10-*alpah/latest_net.pth
   render_sph_hdr_pred diffuse
   Average Masked RMSE: 0.162
   Average Masked si-RMSE: 0.042
   Average Masked Angular Error: 5.78

render_sph_hdr_pred glossy
Average Masked RMSE: 0.263
Average Masked si-RMSE: 0.139
Average Masked Angular Error: 9.68

render_sph_hdr_pred mirror
Average Masked RMSE: 0.286
Average Masked si-RMSE: 0.154
Average Masked Angular Error: 12.67

根据验证集loss选择过拟合之前的10_net.pth，得到的渲染效果更好，这说明验证集能帮助选择最佳模型。

3. shlight-on10000imgs-rd*10-*alpah/0_net.pth
   render_sph_hdr_pred diffuse
   Average Masked RMSE: 0.165
   Average Masked si-RMSE: 0.040
   Average Masked Angular Error: 5.47

render_sph_hdr_pred glossy
Average Masked RMSE: 0.264
Average Masked si-RMSE: 0.134
Average Masked Angular Error: 8.77

render_sph_hdr_pred mirror
Average Masked RMSE: 0.285
Average Masked si-RMSE: 0.150
Average Masked Angular Error: 11.55

4. shlight-on10000imgs-rd*10-*alpah/latest_net.pth
   render_sph_hdr_pred diffuse
   Average Masked RMSE: 0.164
   Average Masked si-RMSE: 0.041
   Average Masked Angular Error: 5.68

render_sph_hdr_pred glossy
Average Masked RMSE: 0.266
Average Masked si-RMSE: 0.140
Average Masked Angular Error: 10.57

render_sph_hdr_pred mirror
Average Masked RMSE: 0.288
Average Masked si-RMSE: 0.155
Average Masked Angular Error: 13.84

在测试集上的测试结果和验证集上的loss正相关