基于双向正交相位的高精度三维扫描系统

（1）项目依托单位（公司）实力概述

项目依托单位：黑龙江科大科技开发有限责任公司。

黑龙江科大科技开发有限责任公司是以黑龙江科技大学的科技资源为依托，以服务区域经济发展为宗旨，以我省高教强省规划项目——黑龙江省东部煤电化工程技术研发平台为核心，集技术开发、成果转化、产品制造、技术咨询、科技服务于一体的高新技术企业。其功能一是对外承接学校科技开发服务与市场的直接对接，加速科技成果转化和产业化，作为学校的科技成果转化中心。二是通过遴选科技含量高、市场前景好的孵化科技项目，支持地方经济建设与发展，搭建学校与市场间的桥梁，培育大学科技园，建立产学研战略联盟，作为学校科技项目的孵化中心。三是负责学校横向科技项目的管理、过程监督，作为学校的科技服务中心。

公司在高新区管委会和松北区政府的大力支持下，于2011年8月成立，注册资金1000万元人民币，同期入驻哈尔滨科技创新城创新创业广场产学研基地。

公司主要资源依托有：黑龙江省东部煤电化工程技术研发平台；黑龙江省石墨深加工创新服务平台；煤矿深部开采地压控制与瓦斯治理省重点实验室；瓦斯及烃类管网储运安全基础研究国家级中心实验室；现代制造工程中心；矿业分析测试中心。

公司现有专兼职员工36人，其中高级技术职称 28人，博士25人。设有技术开发部、工程部、项目部、人力资源部、财务部等管理部门。依托学校资源建立了矿业研究院、石墨新材料工程研究院等研发机构。公司按现代化企业模式组建、管理及运营，各项规章制度健全，质量管理体系完备、有效、运行良好。目前主要围绕煤矿环保充填开采新技术、高产高效采掘机械智能控制与检测技术、石墨新型材料深加工技术、高温合金曲面数控加工技术及检测装备、农业物联网应用技术、现代电子智能办公与教学设备等方向开展研究与开发，并逐步把研发成果向企业和市场转移、转化或产业化。

经过努力，公司目前已走上创新发展的轨道，逐步形成“自强不息，创业创新”的公司精神。公司先后通过国家“高新技术企业”认证，ISO9001质量体系认证、健康体系认证及环境体系认证。现正在以产学研为基础，承担起搭建高校科技与地方经济之间的纽带与桥梁的重任。

（2）基础条件及创新发展能力

黑龙江科技大学视觉三维测量研发团队组建于2004年，先后承担了省自然科学基金重点项目、哈尔滨市科技局科技项目和省教育厅科技项目，其中《面向航空航天、发电领域复杂零部件三维测量系统及其应用》荣获黑龙江省科学技术发明一等奖、《基于面结构光的复杂形面高效精密三维测量关键技术、设备及应用》荣获教育部科学技术进步一等奖，获得黑龙江省高效科技一等奖一项。获得国家发明专利12项。

项目团队致力于高端工业制造领域的高精度三维扫描系统的研究，在基础理论研究方面，提出一种基于双向正交相位的视觉三维测量方法，创新了光栅投射模式，由于光栅投射模式的变化消除了摄像机标定误差传播可能引起的立体匹配误差，在数据处理上，引入以反向投影误差最小为指标的非线性最优化方法，不仅优化三维测量数据，并且在计算过程中优化校正摄像机标定参数，可大大提高三维测量的精确度。视觉三维测量仪器由于其便携性和易用性更适用于产品加工精度的检验和检测，高精度的三维扫描测量为高精度3D制造创造了前提条件。

研发团队在开发基于新理论的通用型三维扫描产品的同时，也注重各种专业设备的开发，目前正在开发的高精度牙科三维扫描仪，已有两家专业公司有代理意向。正在开发的基于多光学传感器融合的叶片全尺寸快速精密检测方法具有良好的应用前景。

（3）技术水平

本项目产品的硬件包括：工业级摄像头，百万像素光学镜头，光栅投射器，计算机，支架，摄像机标定靶标。

本项目产品结构有两种：双目系统，光栅投影器置于中间，摄像头置于投影器两侧，构成双目三维扫描系统。四目系统，光栅投影器置于中间，摄像头置于投影器四周，构成四目三维扫描系统。

1）产品实现的路线：产品技术路线总框图

    摄像机标定：根据被测量物体的空间尺寸选择合适的测量设备，调整测量设备的工作距离，设置物体的被测量距离为仪器上两个摄像头之间距离的2倍。

放置平面标定物，对标定物多视角进行拍照，获取图像，提取标定物图像圆点圆心，采用RANSAC算法，建立标定物上圆点与图像圆点的对应关系，根据张正友平面标定算法进行，得到双目摄像机模型标定参数。

放置平面白板，投射纵向条纹、投射横向条纹，获取条纹图像，采用频率合成技术求解相位，依据双向正交相位进行立体匹配，计算平面白板上各点的三维坐标，将平板上各点三维坐标，摄像机模型参数作为被优化参数，以反向投影误差最小为目标构建优化函数，采用大规模非线性方程组并行优化算法进行求解。优化结果为高精度摄像机模型参数。

三维扫描测量：放置被测物体，由光栅投射器向物体表面投射双向正交光栅条纹，摄像头获取因物体表面起伏引起的变形条纹图像，采用频率合成技术，求解双向相位，依据双向正交相位进行立体匹配，与标定过程获得的摄像机模型参数一起，计算物体上各点的三维坐标，将物体上各点三维坐标，摄像机模型参数作为被优化参数，以反向投影误差最小为目标构建优化函数，采用大规模非线性方程组并行优化算法进行求解。优化结果为物体表面轮廓三维数据，以及摄像机模型参数。

    点云数据融合：对物体进行多个视角的三维扫描测量，才能获得物体表面360⁰的轮廓数据，多个视角扫描获得的分片数据需要融合成完整的数据。点云数据融合采用以下两种方法：1）粘贴标签点的点云拼合，在物体表面平滑位置粘贴标签点，在三维测量过程中获取物体表面轮廓三维数据的同时，获取标签点的三维坐标，从多视角获取标志点坐标定位，采用RANSAC算法确定两个不同视角下的标签点的对应关系，如果对应点对超过3对，采用奇异值分解法（SVD）计算两个视角之间的旋转和平移矩阵，从而实现两个视角下点云数据的初步拼合。以此为基础，采用最近点迭代算法（ICP），实现两片点云的最终拼合。2）无标签点的点云拼合，通过分别提取每片空间点云的特征FFPH，采用RANSAC算法确定特征的对应关系，如果对应点对超过3对，采用奇异值分解法（SVD）计算两个视角之间的旋转和平移矩阵，从而实现两个视角下点云数据的初步拼合，以此为基础，采用最近点迭代算法（ICP），实现两片点云的最终拼合。

点云的去噪、精简和网格化：为更好地进行三维模型重建，需要对点云数据进行去噪、精简和网格化处理，点云的去噪、精简和网格化全部基于点云数据生成过程中的结构信息，在去噪过程中，以点的高斯分布的平均距离为标准，计算逐点计算点与其邻域的距离，去除稀疏外点；以邻域内点的数目为下限标准，去除噪声点。在数据精简中，以点云曲率为变量确定采样率，在曲率变化大的区域，采样率高，在变化平缓区域采样率低，既保证表面结构，又实现数据精简。在网格化时采用增长算法，以单片点云网格化为基础，逐步扩展到整片点云。

2）产品的成熟性

已具备的设备：

    开发了多款中试产品：

       单目扫描设备                                      双目扫描设备                                                     四目扫描设备

开展了三维扫描服务：为沈阳606所开展航空发动机叶片测量，不仅可以获取叶片型线数据，还可以直接得到叶型所有重要参数，沈飞专家认为样板检测已经不能满足需要，视觉三维扫描测量特别适合精铸和精锻叶片的测量，是今后检测的趋势。对哈飞承接的美国波音公司飞机（波音）尾翼（零件尺寸为8*4*1.5米）进行三维测量，解决了长期困扰企业的大型面物体的检测问题。

3）主要创新点

a.理论和技术创新

（1）基于双向正交相位的立体匹配：目前，基于光栅投影技术的光学三维测量，采用相位与基线约束的立体匹配技术，由于基线严重依赖于双目立体摄像机标定的精度，为此，本项目提出一种不依赖于摄像机标定精度的基于双向正交相位的立体匹配技术。通过向物体表面投射正交的两组正弦条纹，应用频率合成技术进行相位展开，以双向正交相位为对应点匹配依据，进行立体匹配。这项技术完全不受摄像机标定精度的影响，提高了立体匹配的准确性，降低了产生噪声数据的可能性。

（2）两步法摄像机标定：虽然，采用双向正交向的立体匹配技术，提高了立体匹配的准确性，但是，在摄像机采集图像的校正和立体匹配结果生成三维数据的过程中，还是依赖于摄像机标定精度，为此，摄像机标定的精度是三维测量精度的重要保证。为提高摄像机标定精度，本项目提出一种两步法摄像机标定技术，利用平面标定物，采用传统的摄像机标定法确定摄像机模型参数；通过基于双向正交相位的立体匹配，确定对应点，以传统摄像机标定法确定的模型参数计算空间三维点坐标，以摄像机模型参数和空间三维点坐标为模型参数，以摄像机反向投影误差最小为目标，构造优化函数。超过百万空间三维点散布整个视场范围，将大大提高摄像机标定的精度。

（3）大规模非线性方程并行求解技术：两步法摄像机标定过程中，需要构造超过百万阶的大规模非线性方程组，大规模非线性方程组在高性能计算中是一个重要的研究课题，传统的Newton算法由于需要计算Jacobi矩阵，使并行计算难以实现，且在大规模问题中，Jacobi矩阵的阶数高，需要存储N*N的矩阵，存储量大，无法实际应用。本项目在分块Broyden算法基础上，针对摄像机标定非线性方程组的特点，进行矩阵分块，算法只需要存储分块矩阵，而不需考虑非零元素，大大降低存储要求，在GPU上实现超过百万阶的非线性方程组的求解。

b.结构创新

由于系统采用双向正交相位投射技术，因此，在系统结构上，可以采用十字结构设置四个摄像机。单次测量，可以获得两组点云，在物体表面不连续或存在遮挡时，能够进行有效测量。减少测量次数。

（4）经济效益和市场前景分析

公司生产成本主要由直接材料，直接人工，制造费用组成，整个产品需要操作人员8人，辅助人员2人，人员福利人均3000元。

基于双向正交相位的光学三维测量机评价系统项目实施完成后，可累计实现销售收入1552.5万元，税前利润294.9万元，上缴税金199.22万元。完成达产后，预计2018年可实现年产2700万的销售收入，经测算，本项目的内部收益率为137.96%，投资回收期为1.93年。

（5）社会效益

有利于提高我国制造业产品设计开发效率，为我国的制造行业参与国际竞争提供了重要的保障。制造企业是我国经济的重要基础之一，质量与成本控制是我国制造企业长期无法跳出的困境；提高产品设计开发效率，提高产品质量是我国制造业面临的迫切任务，同时也是我国制造业参与国际竞争的重要保障。三维扫描测量系统在机械工业领域修复、质量检测等领域可直接应用。另外，针对新产品开发（产品设计）：玩具、手机、电器、陶瓷卫浴等民用产品；机械工业产品等一切需建立外形数模的产品领域，本项目提供的Win3D三维扫描测量系统可与快速成形技术配合实现从逆向设计到生产制造的整个流程，为整个制造业参与了国际竞争力提供了重要的保障。

有利于降低产品的生产成本，提高产品质量及精度。为我国产品适应经济全球化的提供重要支撑。基于双向正交相位的光学三维测量技术，可以开发各种专业三维测量机检测系统，可广泛应用于工业制造中的设计、检测、修复，其市场前景巨大。尤其是随着经济全球化迫使市场竞争日趋激烈，产品寿命周期越来越短，更新换代速度越来越快，这就促使制造业必须进一步缩短新产品开发和投放市场的周期，提高产品质量及精度，降低产品成本。

（6）产品产业化能力

基于双向正交相位的高精度三维扫描系统不同于目前市场上的产品，从原理上克服了目前产品存在的缺陷，大大提高了三维扫描测量精度，从而可应用于机械零部件的快速开发、汽车和飞机覆盖件的快速检测、模具、医疗及康复工程、工业设计等高端应用领域。

本项产品核心技术表现为软件，产品生产过程表现为软件复制，所涉及的其它各种零部件可从国内外企业采购，不涉及污染治理问题，本项产品属于光机电一体化设备，产品生产过程中无废液、废气、废渣排放和噪声污染，符合国家、市环保法规和要求。

依托企业始终按照《中华人民共和国环境保护法》、《环境空气质量标准》（GB3095-1996）、《城市区域环境噪声标准》（GB3096-93）、《生活杂用水水质标准》（CJ25.1-1989）等国家相关规定进行环境保护工作，各项指标都符合标准。公司属于高新技术企业，单位产值能耗低、无污染物排放，属于环境友好企业。