数字孪生新用法，做AI的加速器

自成立以来，跨维智能致力于将先进的三维几何深度学习技术赋能机械臂柔性操作等垂直领域，为客户提供AI视觉算法、3D智能相机及高性价比的软硬件一体化三维视觉解决方案，让机器人以灵活主动的方式完成复杂环境下基于三维视觉的定位、识别、引导等任务。

近日，记者有幸邀请到跨维（深圳）智能数字科技有限公司创始人贾奎（博士）做客《机器视觉》杂志，深入了解到跨维智能3D视觉解决方案区别与传统AI+3D视觉解决方案的优势所在。

M：MACHINE VISION

J：贾奎

M： 贾博士您好，AI技术可赋能的领域众多，为什么您会带领跨维选择了“以AI技术助力3D视觉赋能机械臂完成柔性操作感知”这一细分领域？

J：AI领域涵盖面非常广阔，从计算机视觉、自然语言处理、语音识别等都属于AI领域，我从2000年开始就深耕于计算机视觉这个细分领域，在多年的研究中，也积累了相当的研究成果。而3D视觉因为有着模仿人眼、在物理空间形成立体视觉的优势，成为了计算机视觉中最底层的诉求。从2015年开始，我主要专注于3D视觉领域，将AI技术结合到3D视觉中的应用当中。这项研究放眼当时的整个国际学术圈，都是较为领先的存在。

在AI技术助力3D视觉的众多分支应用中，经过综合考量，赋能机械臂完成相关柔性操作感知是可落地性与商业变现周期较短的。而且工业智能制造的大多场景都是半开放的环境，通过AI技术助力3D视觉，可以从根本上改变以往机械臂柔性操作在传统方案中的固有缺陷。从长远出发，这样的产品形式能够改变当前自动化产线的设计思路，以搭积木方式实现整个产业线的自动化，也能够把自动化推向智能制造的新阶段。

M： 在跨维智能成立的有限时间里，却迸发出了无限的潜力，可以分享一下贵司核心技术吗？

J：从底层出发，跨维智能核心技术是Sim2Real AI云中台DexVerse。行业中绝大部分的AI技术，还是传统意义上的图像的识别、理解、语义分割等图像层面上的。而3D技术本身解决的是三维物理空间中的问题，对物体的空间位置进行感知定位，并完成相关操作。而跨维的云中台DexVerse是一款新型的AI平台，它可以通过打通物理仿真、数据合成、AI 设计与训练、模型软硬件部署的闭环，建立 Sim2Real 虚拟空间与现实空间的映射关联，实现对机械臂柔性操作、机器人感知与控制等任务的AI赋能。

例如，机械臂如何将桌面上的水杯拿起这样的操作，在人类的感知中似乎是非常轻而易举的，但在机器的眼中，这是一个相当复杂的过程。首先需要解读的是杯子放在桌面上，距离机械臂的距离是多少？高度是多少？其次世界上杯子千变万化，杯子形态变换后，机器是否还能认出这是一个杯子？机器如何去应对形态、颜色、大小均各异的“杯子”？

机械臂在跨维云中台DexVerse的助力下，通过物理仿真与数据合成，可以训练出机械臂拿起水杯所需要的各种数据，去支持机械臂实现对目标物体后续的抓取、定位、上下料、拆垛等操作。通过仿真空间中模拟物体之间的相互作用、运动和变形，以预测真实世界中的物理行为，并合成虚拟数据用于深度学习模型训练。

M：为何Sim2Real AI是实现3D视觉大模型和通往垂直场景AGI高效且低成本的重要技术？

J：跨维智能Sim2Real AI云中台DexVerse所使用的AI技术，相比起基础的图像理解，是跨维度的难度跃升。首先三维数据的获取本身相比二维数据就难得多，工业场景中的三维数据由于开放多变的场景及隐私保护导致海量真实数据采集难上加难，而且针对各种corner cases的真实数据难以有效获取。其次是现阶段的AI技术从数据获取到AI模型训练，再到垂直的应用场景，这之间由于技术与应用的分离，导致模型的应用效果不太理想。在工业领域众多场景里，就会形成数据孤岛，从数据与知识上难以互通利用。最后是现有AI技术的标注难题，如何实现高精度3D等高维标注仍然属于痛点难题。

基于现有AI所面临的难题成就了跨维智能的核心产品Sim2Real AI云中台DexVerse，通过物理仿真合成数据，可以实现加速AI在垂直场景中的落地应用。DexVerse对于跨维自身产品的形成也是决定性的，可以以更快速、更低成本、更产品化的方式解决3D视觉助力机械臂的非标定制问题。

M：可以简单介绍一下跨维智能的系列产品吗？

J：基于自研的Sim2Real AI云中台DexVerse，跨维智能构建了完善的智能制造软硬件产品生态，也就是跨维智能的“1+3”产品体系。“1”是自研的Sim2Real AI云中台DexVerse，“3”即DexVision3D工业视觉软件、DexSense3D工业智能相机、DexOne智能视觉一体化设备。

基于DexVerse所构建的DexVision3D工业视觉软件：PickWiz 3D视觉引导软件，可以在仿真空间模拟多样化场景，并生成大量的合成数据。这样的工业视觉软件可应用的场景更多样化，不仅减少了模型重复搭建的成本，而且最终识别效果优于真实数据，并且模拟的多样化场景也使视觉系统的稳定性和效率大幅提升。

DexSense 3D工业智能相机：XEMA北极鸥系列开源相机，它可以支持一键连接跨维 PickWiz 3D视觉引导软件的，搭载上DexVerse云平台，可实时收集真实数据，不断在云端优化视觉算法。如果DexVerse云平台是大脑，那么DexSense 3D工业智能相机就是眼睛，好的成像能力可以减轻大脑的负载压力，这也是跨维智能自研相机的初衷。

最后，DexOne 智能视觉一体化设备，是跨维智能布局引领智能智造领域范式改变的重要一步。该设备也是基于自研的 DexVerse 平台，通过深度域适应优化算法实现整个流程的自动化，针对工业场景中的痛点进行模型设计，满足工业现场落地需求。以3D视觉引导机械臂对物料进行上下料抓取，搬运，替代传统人工作业抓取搬运，有效提高产线的生产效率和生产质量，产能提高20%以上；同时，该项目机器人为模块化架构，针对未来不同的产品工艺，具有更高兼容性，可触及更多更广的生产范围，以满足客户日益增长的柔性化需求。

M: 作为公司自研的Sim2Real AI云中台DexVerse，您可以谈谈未来公司基于DexVerse的产品研发规划吗？

J：基于我们自研的Sim2Real AI云中台DexVerse所能够支撑的，其实不单是机械臂、智能制造相关的应用，更是服务泛机器人底层AI能力形成的加速器。无论是帮助具身智能去感知3D定位，还是去帮助无人车做导航和物体识别，它都是一款非常不错的AI能力平台，3D合成数据还有机会赋能3D AIGC、AI生物制药、AI新材料等更广泛的领域。

M：自公司成立以来，贵司一直致力于推动3D视觉引导机械臂柔性操作领域的普及化应用，请问在这个方向上取得了哪些成果？

J：“3D视觉+智能相机+机械臂”是未来自动化新型应用重要的载体。目前，在国内自动化产线智能制造的升级过程中，这样的新型应用载体随处可见。基于市场需求，我们在产品研发和应用探索上也一直走在行业的前沿，迄今为止，我们已经取得了很大的进展，比如在3D视觉解决方案产品迭代方面，我们推出了四大解决方案，包含：3D视觉引导浅框无序抓取、3D视觉引导单目标精定位、3D视觉引导工件上下料、3D视觉引导拆垛解决方案等； 在应用场景探索落地方面，我们也跟诸如汽车零部件、工程机械、家电、光伏新能源和物流等行业内的众多头部集成商客户成功落地了多种应用场景，实现了行业应用从0到1的突破。

M：在未来几年内，您对那些应用行业比较看好？

J：机器视觉对于提高工业机器人的灵活性和可操作性具有重要意义，在大批量工业生产过程中，3D视觉助力机器人实现更多高精度动作，拓宽其应用场景，也大大提高了生产效率和柔性化程度。目前来说，物流、金属加工和汽车零部件等行业，已经成为开始规模化应用3D机器视觉的几个主要应用市场，另外，家电、医疗、光伏新能源等多个更大体量的市场也在启动机器视觉对于自动化产线的升级改造。未来，更大的市场机会也将来自于上述工业市场的商业类应用。