【导读】现代机器人（包括人形机器人、自主移动平台和工业自动化系统）必须在各种操作条件下以高精度、低延迟和一致的可靠性来感知环境。像视觉传感器这样的当前技术在暴露于雾、眩光、灰尘、雨水或弱光环境中时，性能往往会下降，而单模态深度传感器经常难以在杂乱或动态场景中提供稳定的测量结果。
本文将概述如何使用德州仪器 (TI) IWR6243 毫米波雷达传感器和部署在 NVIDIA Holocan 平台上的摄像头构建实时 AI 原始传感器融合流程，如图 1 所示。
图 1 由摄像头、IWR6243 毫米波雷达传感器和 NVIDIA Holoscan 平台组成的系统示意图
TI 的毫米波雷达技术提供了一种从根本上不同的感应方式，这种方式本身就能应对各种环境挑战。IWR6243 毫米波雷达传感器可在不受光照条件影响的情况下提供精确的距离、速度和角度测量，并且具有很强的环境干扰抗扰性。当原始数据与基于摄像头的感知和 AI 驱动的传感器融合相结合时，与仅雷达或仅视觉方法相比，这种功能能够实现稳健可靠的周围环境感知，并且具有更高的保真度。
IWR6243 是一款在 57GHz 至 64GHz 频段内工作的高度集成的单芯片 4RX 和 3TX 毫米波雷达收发器。这种集成水平能够显著降低系统复杂性、功耗和物料清单成本，从而使其适用于可扩展机器人和边缘 AI 部署。该器件支持高分辨率点云生成，专为需要低延迟和确定性性能的实时感应应用而设计。
通过部署 IWR6243 以及 NVIDIA 的 Jetson Thor 和 NVIDIA Holoscan Sensor Bridge，开发人员可以将 TI 久经考验的毫米波雷达感应与 NVIDIA GPU 加速的 AI 和流媒体基础设施无缝结合。这种组合使雷达数据能够高效地流入 AI 传感器融合流程，同时保持 TI 雷达著名的物理测量精度和可靠性。
在机器人应用中，IWR6243 能够实现精确的短距离人体检测和运动跟踪，从而在仓库等拥挤环境中进行安全导航。借助雷达的直接距离和速度测量功能，可以在机器人周围创建一个动态安全缓冲区，可以根据物体距离和相对速度定义和连续调整保护区域。在人形机器人中，雷达传感器进一步支持在行走、运行或操作任务期间实现稳定的平衡控制和动态避障。
系统概述
系统架构以低延迟、以 GPU 为核心的数据通路为中心，在保留传感器原始精度的同时，支持高级 AI 处理。该设计集成了 TI 的 IWR6243 毫米波雷达模块、摄像头模块、用于高带宽和确定性传感器数据收集的 NVIDIA Holoscan Sensor Bridge，以及所有在 Holoscan SDK（软件开发套件）上运行的 NVIDIA Jetson Thor 边缘计算平台，如图 2 所示。
图 2 系统概述
IWR6243 毫米波雷达传感器通过高速 CSI-2 接口提供原始测量数据，可实现对原始雷达信息的直接、低延迟访问，且传输开销极低。该接口可将雷达数据高效流式传输至 NVIDIA Holoscan Sensor Bridge，借助零拷贝机制将数据直接传入 GPU 内存，全程兼具以太网的可扩展性与灵活性。该方案在保持 TI 高精度雷达测量数据完整性的同时，最大限度降低延迟并减少 CPU 参与度。
传入 GPU 之后，Holoscan 运行时会使用基于图形的执行模型来编排处理流程。雷达信号处理、摄像头预处理、神经网络推理及多模式融合均采用确定性调度，确保在传感器高数据率下仍能满足实时性约束要求。借助这种架构，开发人员可以充分利用 TI 毫米波雷达的测量精度，同时高效扩展 AI 工作负载。
AI 传感器融合流程
传感器融合流程首先同步收集雷达和摄像头数据。雷达处理利用 IWR6243 的能力提供距离、速度和角度测量的原始数据，生成可捕获环境空间结构和运动特性的点云。同时，使用 GPU 加速的 AI 模型对摄像头帧进行处理，这些模型提取语义信息，如对象身份、姿势和分类。
图 3. 雷达处理流程
融合阶段将 TI 雷达测量与空间和时间的视觉检测保持一致。雷达衍生的深度和速度信息补充了基于视觉的推理，可提高稳健性并减少模糊性。在涉及高速运动目标、部分遮挡或视觉环境恶化的场景中，仅依靠摄像头感知极易失效，融合感知的价值尤为突出。
通过将 TI 不受照明影响的精确雷达传感与 AI 驱动的视觉语义相结合，融合感知输出可实现更高的置信度、更高的跟踪稳定性和更可靠的对象分类。生成的融合数据可用于实时决策、导航、安全监控或下游自主堆栈。
TI 毫米波雷达在传感器融合中的优势
TI 的毫米波雷达为传感器融合系统带来了独特的优势，这种优势难以通过其他传感技术实现。直接测量距离和速度的能力可实现精确的运动理解，从而增强跟踪和预测。毫米波传感的稳健性使感知系统能够在光学传感器性能退化的环境（包括低光照、眩光、雾和灰尘）中可靠运行。
IWR6243 的高集成度可降低系统复杂性和功耗，同时实现可扩展的多传感器部署。TI 在汽车和工业雷达领域的长期专业知识还为功能安全性、可靠性和长期可用性奠定了坚实的基础，这些都是对机器人和自主系统的关键要求。
IWR6243 集成到基于 Holoscan 的 AI 流程时，可用作传感器前端，为实际测量的 AI 推理提供可靠的传感器数据。这种组合可提高整体系统性能，并降低边缘部署中出现感知故障的风险。
开始使用硬件
基于德州仪器毫米波雷达与 NVIDIA Holoscan 构建雷达视觉传感器融合系统，首先需搭建一套硬件平台，支持从传感器到集中式 AI 计算平台的高带宽、低延迟数据传输。参考硬件配置将 TI 的雷达评估硬件与 NVIDIA Holoscan Sensor Bridge 和 NVIDIA Jetson Thor 相结合。
IWR6243 级联 EVM 用作雷达传感前端。该评估模块集成了两个 IWR6243 毫米波雷达器件，以及快速开发和验证所需的电源管理、时钟和连接。借助 IWR6243 EVM，开发人员可以配置雷达线性调频脉冲和帧时序，同时公开适用于高级信号处理和基于 AI 的融合的原始雷达数据。借助该 EVM 可加速系统启动，并提供经过验证的可靠硬件基准，能够真实反映量产雷达方案的性能特性。
为了实现从 IWR6243EVM 到 Holoscan 生态系统的高效数据传输，在雷达评估模块和 NVIDIA Holoscan Sensor Bridge 之间使用了一个 CSI-2 适配器板，如图 4 所示。此适配器板将雷达输出接口的信号桥接至传感器桥预期的 CSI-2 输入。
图 4. 硬件概述
Lattice CertusPro-NX 传感器到以太网桥接板在低延迟、低功耗、灵活的 FPGA 上运行，可用作高带宽传感器数据的中央聚合和传输设备。它接收来自雷达的 CSI-2 数据流，以及摄像头等其他传感器的各类接口信号。传感器桥接器负责确定性数据移动，并将传感器数据直接传送到计算平台上可由 GPU 访问的存储器中。
NVIDIA Jetson Thor 用作系统的集中计算平台。Jetson Thor 提供雷达信号处理、摄像头推理、多模式融合和实时决策所需的 GPU 性能和 AI 加速。在 NVIDIA Jetson Thor 上运行 Holoscan SDK 使开发人员能够定义和执行流式 AI 流程，以可预测的延迟处理雷达和视觉数据。集中计算方法允许系统通过提高计算能力在不同的自主级别之间进行扩展，而无需重新设计传感器硬件。
IWR6243EVM、CSI-2 适配器板、NVIDIA Holoscan Sensor Bridge、摄像头模块和 NVIDIA Jetson Thor 共同构成了雷达视觉传感器融合的完整硬件基础。这种配置使开发人员能够专注于感知算法和 AI 融合，同时依赖于针对高带宽检测、低延迟和面向量产人形机器人和机器人系统的可扩展性进行优化的硬件架构。IWR6243 级联 EVM 硬件和适配器板可直接从德州仪器 (TI) 获取，开发人员应联系其德州仪器 (TI) 售代表以了解供货情况、订购信息和支持选项。
开始使用软件
在 NVIDIA Holoscan Bridge 上搭建雷达视觉传感器融合软件栈，需完成 Holoscan SDK 配置、启用 Holoscan Sensor Bridge 软件组件，并部署实现雷达处理与传感器融合功能的应用软件。
NVIDIA Holoscan SDK 为构建实时流式 AI 应用程序提供了核心软件框架。它包括基于图形的执行模型、GPU 加速运算符、确定性调度，以及对传感器推理、可视化和数据移动的集成支持。该 SDK 在 NVIDIA Jetson Thor 上运行，并管理雷达处理和摄像头推理的执行。
NVIDIA Holoscan Sensor Bridge 软件栈通过支持高带宽传感器将数据高效地流式传输到 Holoscan 运行时来补充 SDK。它提供了必要的驱动程序、固件和接口，可将传感器数据从基于 Lattice 的传感器桥接硬件直接移动到 GPU 可访问的存储器中。该软件层可将传感器传输细节提取出来，并验证确定性时序，使应用程序的开发人员能够专注于感知算法而不是低级别的数据移动。Holoscan Sensor Bridge 与 Holoscan SDK 之间的紧密集成对于在实时融合应用中保持雷达与摄像头流之间的同步至关重要。
在 NVIDIA Holoscan 平台之上，应用软件实现了雷达配置、信号处理、传感器对齐和融合逻辑。在此系统中，应用软件由 D3 Embedded 开发，专门设计用于利用德州仪器 (TI) 毫米波雷达、Lattice Semiconductor 的 Holoscan Sensor Bridge 板和 NVIDIA Holoscan 基础设施。该软件将 IWR6243 雷达数据集成到基于 Holoscan 的流程中，从而在集中式处理架构内实现雷达点云生成、摄像头对齐和 AI 驱动的融合。
D3 Embedded 开发的应用软件可作为 D3 Embedded sales@d3embedded.com 服务项目的一部分获得。
NVIDIA Holoscan SDK、Holoscan Sensor Bridge 软件栈和 D3 Embedded 的应用软件共同构成了用于实时雷达视觉传感器融合的完整软件设计。这种组合实现了快速启动和可扩展的性能，并为从评估硬件到可直接用于生产环境的人形机器人和机器人系统提供了清晰的途径。
结语
TI 的 IWR6243 毫米波雷达与 NVIDIA Holoscan 平台上的摄像头数据之间的实时 AI 传感器融合提供了稳健、可扩展且可立即投入生产的感知设计。TI 的毫米波雷达技术可对距离和速度进行准确且不受光照影响的测量，而 NVIDIA Holoscan 可实现超低延迟 GPU 处理和 AI 驱动的融合。这些技术可以让开发人员共同构建能够在复杂、动态和具有挑战性的环境中可靠运行的高级感知系统，加快下一代机器人和自主机器的部署。
