算是标题党吧,但确实我现在手头这部剧有一些镜头牵涉到AI特效,特效出来都是720太糊(哪怕走工作流的云端超分模型都是垃圾假4k),抱着尝试的心态看看发现星光支持mac了,工作室全mac流程真的很蛋疼。
拆分任务一颗颗镜头分给不同的机器跑。好在我们有服务器分配。m2max的studio把其他全关了,gpu跑到97%,跑x2大约20分钟干1秒出来。四台机器大概就是5分钟出一秒。
但我们剧是6k后期流程--4k交付,所以x2得跑两遍:实测x4跑一次不达标,topaz貌似限制分辨率最多只能超分到4k,而x4跑两次和x2跑两次,测下来基本在清晰度层级上没有差距。所以后面批量超分选择了x2模式。(各位可以抛弃x4了,x4一次是远比不过x2两次的)
但是,有意思的点来了。
正因为没有清晰度差距,那么两次x4这种饱和超分有没有意义呢?实际情况是,星光的确引入了相当精准的猜测模型和内部超高分辨率生成式ai的超采样。因为x2两次和x4两次,我们发现显著差异如下:
1,远景,焦外,以及处于动态模糊下的物体,锯齿的细节柔化,和高光的精细化提亮。这点在4k分辨率下,两者没太大差异,毕竟不是视觉主体,甚至有时还会抢戏。
2,会对不确定的焦内物体增加细节。这个很多人都注意到了。但可能没人发现超到x4两次的时候,并不会使得画面变得更脏,而是在不注意的地方继续猜。有时候甚至更光滑,并添加了反光,某种程度其实都改了材质了。
3,真人化倾向!!这个始料未及,比如一个二次元角色,星光不会把她变成真人。但如果很糊,她会变得立体化动漫,也就是3d感。而如果她只有背面。那甚至会出现,x2两次的手绘有勾边的头发,而x4两次变成真人化的发束和发丝了。
以上,只发生在极细节的层面。如果是静态图大概200%看27寸显示器才能注意到,而动态视频放大300%都难以注意。
所以星光不是特别适合动漫超分,可能单搞一轮还行,但是对于清晰度很低的视频,一些干扰图样会影响其对面部纹理的判别。估计其降噪机制主要针对胶片和cmos噪点,对压缩流的画质劣化缺少针对,会认为那就是细节需要继续猜继续画。
然后说下我们有将拍摄的6k素材放大到500%使用的状况(比较极端,用于数字合成)。这次也尝试了星光超分,效果惊人的好。所以topaz真的很善于处理原始素材的降噪和超分处理,可能这才是他的主要业务。
还有一点,对于720p以下的视频,如果需要补帧做在前面。越是糊的视频,先补后超,而越是清晰的视频,先超后补。(影视领域反而很少补帧,这次是遇到ai复制帧严重才做的)
拆分任务一颗颗镜头分给不同的机器跑。好在我们有服务器分配。m2max的studio把其他全关了,gpu跑到97%,跑x2大约20分钟干1秒出来。四台机器大概就是5分钟出一秒。
但我们剧是6k后期流程--4k交付,所以x2得跑两遍:实测x4跑一次不达标,topaz貌似限制分辨率最多只能超分到4k,而x4跑两次和x2跑两次,测下来基本在清晰度层级上没有差距。所以后面批量超分选择了x2模式。(各位可以抛弃x4了,x4一次是远比不过x2两次的)
但是,有意思的点来了。
正因为没有清晰度差距,那么两次x4这种饱和超分有没有意义呢?实际情况是,星光的确引入了相当精准的猜测模型和内部超高分辨率生成式ai的超采样。因为x2两次和x4两次,我们发现显著差异如下:
1,远景,焦外,以及处于动态模糊下的物体,锯齿的细节柔化,和高光的精细化提亮。这点在4k分辨率下,两者没太大差异,毕竟不是视觉主体,甚至有时还会抢戏。
2,会对不确定的焦内物体增加细节。这个很多人都注意到了。但可能没人发现超到x4两次的时候,并不会使得画面变得更脏,而是在不注意的地方继续猜。有时候甚至更光滑,并添加了反光,某种程度其实都改了材质了。
3,真人化倾向!!这个始料未及,比如一个二次元角色,星光不会把她变成真人。但如果很糊,她会变得立体化动漫,也就是3d感。而如果她只有背面。那甚至会出现,x2两次的手绘有勾边的头发,而x4两次变成真人化的发束和发丝了。
以上,只发生在极细节的层面。如果是静态图大概200%看27寸显示器才能注意到,而动态视频放大300%都难以注意。
所以星光不是特别适合动漫超分,可能单搞一轮还行,但是对于清晰度很低的视频,一些干扰图样会影响其对面部纹理的判别。估计其降噪机制主要针对胶片和cmos噪点,对压缩流的画质劣化缺少针对,会认为那就是细节需要继续猜继续画。
然后说下我们有将拍摄的6k素材放大到500%使用的状况(比较极端,用于数字合成)。这次也尝试了星光超分,效果惊人的好。所以topaz真的很善于处理原始素材的降噪和超分处理,可能这才是他的主要业务。
还有一点,对于720p以下的视频,如果需要补帧做在前面。越是糊的视频,先补后超,而越是清晰的视频,先超后补。(影视领域反而很少补帧,这次是遇到ai复制帧严重才做的)















