近日，《中国安防》就AI摄像机领域向的卢深视进行邀稿，作为三维机器视觉领先者，的卢深视资深算法工程师崔哲博士分析三维机器视觉技术特性以及应用模式做出解答，并发表论文《三维视觉在安防网络相机中的应用》，已在《中国安防》杂志刊出。据悉，《中国安防》是国内安防行业最权威的杂志,提供权威准确的法规政策、标准信息、行业资讯,拥有全面详实的安防产品库、安防商家库、安防解决方案库等。
目前安防领域的视频监控主要通过二维图片与视频信息对通行人员进行结构化信息提取，然而二维信息只是三维真实场景在成像平面的投影，因此还原真实的监控场景存在很大的困难。目前，通过融合现有的安防网络相机技术与最新的高精度三维成像技术, 除了能获取场景的颜色、轮廓信息之外，还能获取重要的深度信息。借助于深度信息，能突破现有二维成像技术的瓶颈，有效地采集场景内的三维人体特征信息，为安防监控系统提供更准确的情报。
背景介绍
为满足反恐维稳重点区域场所管控、重点人员识别跟踪、立体化社会治安防控等业务需求，必须充分获取三维监控场景内通行人员的结构化信息（如性别、年龄、身高、体型、民族等）。目前安防监控市场上主流的视频结构化服务都是基于传统的二维视频流，这是由于传统的安防网络相机仅能提供二维场景数据，但是由于二维信息仅仅只是三维真实场景在像平面的投影，导致基于二维信息的视频结构化服务鲁棒性很差，视频分析结果会受到遮挡、光照等问题的影响，从而产生误识误拒率高等诸多问题。
相比于二维视频信息，三维视频信息不仅仅可以提供传统的彩色轮廓信息，还能额外提供真实场景的深度信息，通过深度数据我们可以计算出活动目标人体的大小、移动方向、速度，并重点突破目标跟踪中的交叠问题，从而有效地提取目标人物身高、体型、步态特征。同时，可以充分利用彩色信息与深度数据之间的优势互补，突破当前二维视频结构化技术的局限，准确地获取人体身高、人体三维体貌、监控场景内目标人体的三维轮廓、目标人体之间的前后位置关系等信息，进而给用户提供更准确的视频结构化信息。
在三维成像领域，主流的深度相机主要采用结构光原理，如微软公司研制的Kinect设备，英特尔公司研制的Realsense深度相机，苹果公司新发布的智能手机所配备的三维采集设备。当前国内外市场上的三维采集技术主要应用于体感、增强现实、消费电子等领域，还没有专门针对安防场景下使用的高精度三维监控相机产品出现，主要原因在于当前深度相机在采集距离、采集精度、应用场景等方面还达不到安防监控的需求。因此，研发一款适用于监控场景、能同时获取深度信息和颜色信息的安防相机成为目前三维机器视觉领域的重要研究课题之一。
三维网络安防相机
为了迎合目前智能安防对于三维数据的迫切需求，的卢深视研制成功了一种适用于安防环境的三维网络摄像机，该相机融合了二维彩色网络摄像机和结构光深度相机技术，可以在譬如火车站、飞机场、地铁站等室内光照复杂环境下全天候的获取通信人员的二维色彩与三维形状信息。该相机系统构成如下：
图一 三维安防网络摄像机系统构成
该相机有如下特点：
高精度三维信息
通过组合变焦镜头与特征点投射器，的卢深视设计出了一种可以在各个距离下都投射出足够稠密特征的特征点投射系统。传统的特征点投射器，光束的发散角以及特征点的数量是固定的,在远距情况下，特征点会均匀的分布在场景内，造成感兴趣区域内特征点很少，譬如人脸，从而导致这些区域内的点云稀疏、精度低。而通过这套变焦投射系统，可以控制投射光束的发散角，从而控制特征点的密集程度，在远距离情况下，可以把所有特征点投射到感兴趣区域，从而获取目标稠密、高精度的三维信息。
三维成像对环境光照鲁棒性高
第一， 该的三维成像系统通过使用940nm波长光源与红外窄带滤光片来抑制阳光与环境杂光影响。一般情况下，室内环境杂光大部分都是可见光范畴，而且940nm又是太阳光波段的峰谷，因此使用940nm波长光源与红外窄带滤光片的组合可以滤除绝大部分环境杂光和太阳光的干扰，从而保证三维成像系统在各种复杂光照环境下的成像性能；
第二， 三维成像系统通过一组彩色镜头与红外镜头融合了双目系统与结构光系统，在深度恢复算法上，的卢深视也同样融合了双目算法与结构光算法，即使在极端光照情况下（譬如正午阳光），特征点投射系统投射出去的特征点已经无法被红外镜头捕捉，也可以通过双目成像系统获取目标场景的三维数据。
数据传输成本低
融合了目前二维安防网络摄像机的数据传输技术，在H264编码框架下，的卢深视通过对深度图预处理，实现了基于H264编码的三维数据低损传输技术。
三维深度图不同于二维图像，深度图上每个像素值大小代表目标和相机的几何距离，因此，深度图对于图像传输过程中的保真性要求很高，譬如两个物体交界的边界处，二维图像可以容忍一定的边界锯齿和模糊现象，但是对于深度图来说，边界锯齿和模糊都是绝对不能允许的。为此的卢深视设计了两种预处理的方法来提高数据传输过程中的保真性：
第一， 对深度图的前后景进行分离，同一深度范围内的目标归为一类，然后通过填充的方法对前后景图像进行填充，消除边界处的像素值阶跃现象，避免在传输过程中产生误码；
第二， 对深度图的每个像素添加“数据校验位”，在用户上位机解码的过程中，对数据校验位进行校验，去除不通过校验的像素点，保证用户获取数据的正确性。
近日，《中国安防》就AI摄像机领域向的卢深视进行邀稿，作为三维机器视觉领先者，的卢深视资深算法工程师崔哲博士分析三维机器视觉技术特性以及应用模式做出解答，并发表论文《三维视觉在安防网络相机中的应用》，已在《中国安防》杂志刊出。据悉，《中国安防》是国内安防行业最权威的杂志,提供权威准确的法规政策、标准信息、行业资讯,拥有全面详实的安防产品库、安防商家库、安防解决方案库等。
目前安防领域的视频监控主要通过二维图片与视频信息对通行人员进行结构化信息提取，然而二维信息只是三维真实场景在成像平面的投影，因此还原真实的监控场景存在很大的困难。目前，通过融合现有的安防网络相机技术与最新的高精度三维成像技术, 除了能获取场景的颜色、轮廓信息之外，还能获取重要的深度信息。借助于深度信息，能突破现有二维成像技术的瓶颈，有效地采集场景内的三维人体特征信息，为安防监控系统提供更准确的情报。
背景介绍
为满足反恐维稳重点区域场所管控、重点人员识别跟踪、立体化社会治安防控等业务需求，必须充分获取三维监控场景内通行人员的结构化信息（如性别、年龄、身高、体型、民族等）。目前安防监控市场上主流的视频结构化服务都是基于传统的二维视频流，这是由于传统的安防网络相机仅能提供二维场景数据，但是由于二维信息仅仅只是三维真实场景在像平面的投影，导致基于二维信息的视频结构化服务鲁棒性很差，视频分析结果会受到遮挡、光照等问题的影响，从而产生误识误拒率高等诸多问题。
相比于二维视频信息，三维视频信息不仅仅可以提供传统的彩色轮廓信息，还能额外提供真实场景的深度信息，通过深度数据我们可以计算出活动目标人体的大小、移动方向、速度，并重点突破目标跟踪中的交叠问题，从而有效地提取目标人物身高、体型、步态特征。同时，可以充分利用彩色信息与深度数据之间的优势互补，突破当前二维视频结构化技术的局限，准确地获取人体身高、人体三维体貌、监控场景内目标人体的三维轮廓、目标人体之间的前后位置关系等信息，进而给用户提供更准确的视频结构化信息。
在三维成像领域，主流的深度相机主要采用结构光原理，如微软公司研制的Kinect设备，英特尔公司研制的Realsense深度相机，苹果公司新发布的智能手机所配备的三维采集设备。当前国内外市场上的三维采集技术主要应用于体感、增强现实、消费电子等领域，还没有专门针对安防场景下使用的高精度三维监控相机产品出现，主要原因在于当前深度相机在采集距离、采集精度、应用场景等方面还达不到安防监控的需求。因此，研发一款适用于监控场景、能同时获取深度信息和颜色信息的安防相机成为目前三维机器视觉领域的重要研究课题之一。
三维网络安防相机
为了迎合目前智能安防对于三维数据的迫切需求，的卢深视研制成功了一种适用于安防环境的三维网络摄像机，该相机融合了二维彩色网络摄像机和结构光深度相机技术，可以在譬如火车站、飞机场、地铁站等室内光照复杂环境下全天候的获取通信人员的二维色彩与三维形状信息。该相机系统构成如下：
图一 三维安防网络摄像机系统构成
该相机有如下特点：
高精度三维信息
通过组合变焦镜头与特征点投射器，的卢深视设计出了一种可以在各个距离下都投射出足够稠密特征的特征点投射系统。传统的特征点投射器，光束的发散角以及特征点的数量是固定的,在远距情况下，特征点会均匀的分布在场景内，造成感兴趣区域内特征点很少，譬如人脸，从而导致这些区域内的点云稀疏、精度低。而通过这套变焦投射系统，可以控制投射光束的发散角，从而控制特征点的密集程度，在远距离情况下，可以把所有特征点投射到感兴趣区域，从而获取目标稠密、高精度的三维信息。
三维成像对环境光照鲁棒性高
第一， 该的三维成像系统通过使用940nm波长光源与红外窄带滤光片来抑制阳光与环境杂光影响。一般情况下，室内环境杂光大部分都是可见光范畴，而且940nm又是太阳光波段的峰谷，因此使用940nm波长光源与红外窄带滤光片的组合可以滤除绝大部分环境杂光和太阳光的干扰，从而保证三维成像系统在各种复杂光照环境下的成像性能；
第二， 三维成像系统通过一组彩色镜头与红外镜头融合了双目系统与结构光系统，在深度恢复算法上，的卢深视也同样融合了双目算法与结构光算法，即使在极端光照情况下（譬如正午阳光），特征点投射系统投射出去的特征点已经无法被红外镜头捕捉，也可以通过双目成像系统获取目标场景的三维数据。
数据传输成本低
融合了目前二维安防网络摄像机的数据传输技术，在H264编码框架下，的卢深视通过对深度图预处理，实现了基于H264编码的三维数据低损传输技术。
三维深度图不同于二维图像，深度图上每个像素值大小代表目标和相机的几何距离，因此，深度图对于图像传输过程中的保真性要求很高，譬如两个物体交界的边界处，二维图像可以容忍一定的边界锯齿和模糊现象，但是对于深度图来说，边界锯齿和模糊都是绝对不能允许的。为此的卢深视设计了两种预处理的方法来提高数据传输过程中的保真性：
第一， 对深度图的前后景进行分离，同一深度范围内的目标归为一类，然后通过填充的方法对前后景图像进行填充，消除边界处的像素值阶跃现象，避免在传输过程中产生误码；
第二， 对深度图的每个像素添加“数据校验位”，在用户上位机解码的过程中，对数据校验位进行校验，去除不通过校验的像素点，保证用户获取数据的正确性。
图二 相机获取数据时形成的彩色图、深度图对比
相机运行稳定性高
第一，数据传输使用网线传输，保证数据传输的稳定性，相机支持码率自动调节功能，保证在各种环境下都能稳定的把数据传给上位机；
第二，为了保证相机前端计算稳定性，该相机使用一块高速FPGA作为深度恢复算法的运算单元，硬件稳定性高，已经通过了安防网络相机的各项环境指标测试，在高温、高湿等恶劣环境下都能正常运行；
第三，使用全金属外壳，内部芯片以及高温元器件通过金属散热片与外壳直接相连，通过这种优化的散热方式，保证相机可以在高温环境下持续运行。
应用领域及发展
目前，三维网络安防相机主要应用于安防反恐领域。尤其在边检安防领域，新疆新疆公安厅的反恐项目中早已开始使用三维人脸识别技术，并建立了全国首个省级“三维人像数据库”。不仅如此，2018年10月通车的港珠澳大桥上，更是首次大规模应用了人脸识别身份核验技术，智慧关卡全面采用“刷脸通行”，车辆可在无感的条件下8秒通关。
（鹰眼产品用于港珠澳大桥通关）
的卢深视认为，三维网络安防相机有很大应用空间，由于技术特性，其可以实现物体重建、高精地图重建等等工作。现阶段该技术主要聚焦在泛安防领域，未来会在更多商业、个人助手、消费电子领域拓展，和VR等行业结合，提供“识别后可交互”的服务，为更多场景赋能。
