硬核干货：|专栏|超采样相机的画面质量

原文作者：
Juha Alakarhu, Samu Koskinen, Eero Tuulos, Nokia Corporation, Camera Technologies, juha.alakarhu@nokia.com,samu.koskinen@nokia.com, eero.tuulos@nokia.com,
摘要：本文关注超采样相机及其图像质量。开发了用于分析弱光性能的公式并将其与主观测试结果相比较。除此以外，关键发现还表明超过相机的奈奎斯特频率的大量空间信息可被超采样相机捕获。同时我们还表明弱光性能基本上由图像传感器的尺寸而不是像素尺寸决定。诺基亚 808 PureView 就是搭载了超采样相机的产品。

1. 介绍
在成像中，使用超采样意味着需要使用比相机输出图像分辨率更高的图像传感器。许多智能手机的传感器大于其显示屏的分辨率，但是在超采样相机中，缩放到较小的分辨率是在相机内部完成的，并且能在更早的阶段完成，质量可能更高。
诺基亚 808 PureView 智能手机首次实现了使用极高分辨率的相机与不需要插值的变焦功能。最初使用超采样的动机是希望实现在智能手机有限的体积内实现高品质的变焦功能。比起光学变焦，这种方法提供了很多优势：在整个变焦范围内都能实现恒定最大光圈和微距；变焦时是无声的并且比机械移动更加平滑；结构更简单可靠；还让使用大型图像传感器来提供极佳的画质成为可能。除了变焦以外，超采样还能提供显著的画质优势。
我们经常以为小像素尺寸或高分辨率会牺牲画面质量，这样的论调通常错误地只考虑一个像素的性能而不是整个相机的性能。本文讨论超采样相机系统的画面质量。很多结果适用于任何当代相机，因为它们记录的图像文件通常都大于屏幕的分辨率[2]。
传感器技术的发展使得像素能越做越小，而超采样为发展中的像素技术提供了一种自然而然的利用方式。它同时还为用新方法去利用像素创造了一个有趣的机会：例如单帧 HDR （高动态范围）， 高速相位对焦或光谱检测。

……果然太干的干货没人看嘛……

7. 产品
诺基亚 808 PureView 这款产品使用了基于超采样技术的相机系统。它具有 4150 万像素，单像素大小为 1.4 微米的图像传感器、5 片 F2.4 光圈镜头再加一个机械快门[1]。
对光学系统进行超采样使得在图像创建中也可以使用有光学系统再现的更高频率。以诺基亚 808 PureView 为例：相机的像素尺寸为 1.4 微米，输出 4:3 图像的传感器分辨率为 3800 万像素，但在默认的自动模式下，相机只输出 500 万像素的图像。通过这种方式，使用超采样可以获得质量优异还没有摩尔纹的 500 万像素图像。如图 4 所示，诺基亚 808 PureView 的 500 万像素图像和另一款 500 万像素的高端手机相机的对比。

通过与佳能 EOS 1Ds Mark III 搭配 L 系列镜头并设置为 28mm F2.8（ 2150 万像素）的全像素模式对比表明，诺基亚 808 PureView 可以捕捉更多细节。这表明了经过精心设计的手机相机能捕捉到的细节有多强，进一步证明了可以通过超采样获得大量信息。

8. 展望
结果表明，只要使用得当，基于超采样技术的相机可以提供比传统相机更好的图像质量：拥有更好的细节、更少的处理和混叠伪像、无损变焦、在整个变焦范围内恒定光圈和微距还有变焦过程是无声的。弱光性能基本上由图像传感器尺寸，使用技术和光孔来定义，也就是说超采样对其没有主要影响。
获得最佳效果的关键要素是具有良好光谱响应的小像素和能够提供足够锐度来启用变焦的光学系统。本文提供的结果表明，这些可以在智能手机的大小里完成。
超采样技术为将来提供了令人兴奋的机会。高像素数量可用于各种新功能：例如单帧 HDR ，更快的相位自动对焦或光谱检测，而这些只是冰山一角。
超采样技术对未来像素的开发也提出了新的挑战。未来相机的分辨率可能非常高。诺基亚 808 PureView 使用 1.4 微米的单像素尺寸，而 1.1 微米的已经批量生产，而 0.9 微米的已经在望了[10]。在不牺牲图像质量的情况下去制造更小的像素是可能的。即使像素尺寸很小，背照式图像传感器也可以提供高量子效率。像素也需要能够非常好地处理串扰。例如 DTI 技术[9]可以在像素之间提供完美的电气隔离。展望未来，我们可能会采用完全不同的方法，固态的成像器件表现的会越来越像模拟的胶片。

9. 总结
本文研究了超采样相机的图像质量，包括弱光性能和锐度。结果表明，在设计良好的系统中，弱光性能基本上由光学系统、图像传感器尺寸和光谱响应来决定，而不是像素尺寸。结果还表明，智能手机的光学系统具有可以被超采样利用的大量奈奎斯特信息。我们在诺基亚 808 PureView 上实现了超采样相机。这款产品和高端 500 万像素智能手机的对比揭示了超采样到 500 万像素的信息量到底多了多少，以及视觉效果如何。我们还将全像素模式下的诺基亚 808 PureView 和高端单反相机进行比较。这显示了具有高分辨率图像传感器的高级手机相机可以捕获多少信息。

译者：这是我第二次翻译英文文献，但是是第一次出于爱好翻译一篇非自身专业的文献，可能在一些专业概念和专有名词的使用上还会有一些偏差和错误，欢迎各位大佬指正。
参考资料：
[1]J. Alakarhu et al., “PureView Imaging Technology”, Nokia 2012
[2]E. Funatsu, “Small pixel CIS Technology and Image Quality Evaluation Method”, Image sensors 2012, London.
[3]Nikon D800 / D800E OLPF information, Nikon web pages. Accessed on 27.3.2013 http://imaging.nikon.com/lineup/dslr/d800/features01.h tm#a12
[4]E. Chang et al., “Color Filter Array Recovery Using a Threshold-based Variable Number of Gradients” Proceedings of SPIE, January 1999
[5]M. Stokes et al., “A Standard Default Color Space for the Internet – sRGB, Version 1.10”, November 5, 1996
[6]J. Alakarhu, “Image sensors and Image Quality in Mobile Phones,” in Proc. 2007 International Image Sensor Workshop
[7]J. Elaine et al., ”Softcopy quality ruler method: Implementation and validation”, Proceedings of SPIE, January 2009
[8]E. Fossum, “Gigapixel Digital Film Sensor (DFS) Proposal” in Proc. 2005 International Image Sensor Workshop
[9]A. Tournier et al., “Pixel - to - Pixel isolation by Deep Trench technology: Application to CMOS Image Sensor” in Proc. International Image Sensor Workshop (IISW), Hokkaido, Japan, 2011
[10]S.G.Wuu et al., “A Leading-Edge 0.9μm Pixel CMOS Image Sensor Technology with Backside Illumination: Future Challenges for Pixel Scaling (Invited)”,in Proc. IEDM, San Francisco 2010

@DYING★﹀╮ 此等干货能加个精嘛？

对了，在严肃的文章过后，给大家讲几个小细节：
1、
Dinning 当年在离开诺基亚后曾痛批 htc one m7 的 Ultra Pixel ，认为这完全是个华而不实的东西。
看了论文第四节大家可能就会明白为啥 Dinning 当时会这么激动。（这种明目张胆地把开倒车的行为包装成创新说什么都忍不了吧）
2、
如今我们的确实现了 0.9 微米的小像素。（当时已经有了，只是还没能量产）
3、
DTI 技术指的是像素隔离技术，例如三星的 ISOCELL 。（当时没在手机上普及）
4、
高像素单帧 HDR 其实也有解决方案了，其实就是四像素合一传感器的 WDR 模式。
关于四像素合一传感器，可以看 @CC630336 的科普（知乎上真诺粉专栏也有他写的这篇文章哦）。
5、
Juha 曾经在《东京酒吧餐巾纸》这部记录片里提到：“我们其实还和当时的高端的单反相机进行对比，结果 808 的表现实际上还要更好些，我当时就认为一定是那台单反出现了故障，但幸运的是那单反并没有坏。”
现在大概能猜出来这台单反很可能就是 佳能 EOS 1Ds Mark III。