中国科大发布首个高空作业机器人多模态感知数据集

闲庭漫步 · 发表于 2023-10-14 14:00:00

近日，中国科学技术大学工程科学学院机器人与智能装备研究所董二宝副教授课题组发布了首个面向高空作业机器人的开源多模态感知数据集USTC FLICAR。该数据集以“USTC FLICAR: A sensors fusion dataset of LiDAR-inertial-camera for heavy-duty autonomous aerial work robots”为题在线发表于机器人领域知名期刊《The International Journal of Robotics Research》（IJRR）。

高空作业在工农业生产和日常生活中发挥着重要作用，但同时也伴随着较高的作业人员安全风险。推动高空作业的自动化和智能化发展将有助于保障作业人员人身安全，提高作业效率和质量，具有重要的社会价值和经济效益。研究团队展示了将自动驾驶感知系统与斗臂工程车相结合以创建多功能自主高空作业机器人平台的潜力。USTC FLICAR数据集的数据采集系统配备了各种校准良好且时间同步的传感器：四个3D激光雷达、两个立体相机、两个单目相机、惯性测量单元（IMU）和一个GNSS/INS定位系统。同时使用激光跟踪仪记录毫米级精度的地面坐标系下机器人平台实况位置。

图1. USTC FLICAR数据集的数据采集系统示意图

研究团队选取代表性高空作业场景，收集了包括一天中的不同时间和天气等多种条件下的数据，以确保高空作业机器人的全天候运行。周围的物体包括高压线、树木、建筑物、道路等。高空作业机器人平台的轨迹包括空中的三维平动、俯仰和旋转。

USTC FLICAR数据集提供激光雷达点云数据、相机图像数据、惯导位置姿态数据、地面真值数据，以及各传感器之间的标定数据。这些数据将支持面向高空作业的同时定位与建图（SLAM）、三维精确重构、多模态融合感知、多传感器标定等任务。

截至目前，USTC FLICAR数据集包含超过1.5TB的数据，包括4万个立体图像对、10万个单目图像、7万帧激光雷达点云以及高频IMU/INS和激光跟踪仪运动测量数据。所有数据都可以以二进制格式（rosbags）和直接可读格式下载，如纯文本格式的数字数据、高质量png格式的原始图像数据。数据中还提供了一些有用的工具和SDK，以便快速使用。未来将继续向数据集添加更多数据，以更充分地应对高空作业机器人面临的技术挑战。

图2.同时间戳单组多传感器数据可视化示例

为提升数据标注效率和质量，研究团队还基于基础AI视觉大模型Segment Anything Model (SAM)进行语义标注，制作了Semantic FLICAR数据集。原始图像数据由SAM模型自动生成全局掩模分割，然后由人类标注者通过感兴趣区域的交互式提示进行协作细化，从而获得精确详细的标注。

图3.基于SAM的语义标注数据引擎

中国科学技术大学计算机科学与技术学院2023届本科生王梓名为论文第一作者，工程科学学院董二宝副教授为论文通讯作者。论文的合作者还包括计算机科学与技术学院张燕咏教授和吉建民副教授、工程科学学院2023届硕士生刘昱江等。该研究工作得到了国家重点研发计划、仲英青年学者项目和中央高校基本科研业务专项资金的支持。

近年来，中国科学技术大学工程科学学院机器人与智能装备研究所董二宝副教授课题组承担国家重点研发计划“智能机器人”重点专项“面向电力行业的作业机器人系统研究及应用”项目的课题“配网带电作业机器人技术研究”，在高空作业机器人领域开展了深入研究。团队联合国网安徽电力、国网山东电力等单位研究突破多项关键技术，设计研制出10kV配网带电作业双臂机器人系统，并在实际配电网架空线路上进行了示范应用，可替代人工在高空场景中完成带电接火、断引流线、安装故障指示器、安装验电接地环、除枝清障、消缺等典型不停电作业功能，于2023年3月顺利通过国家科技部高技术研究发展中心组织的综合绩效评价。相关成果还以“Intelligent power distribution live-line operation robot systems based on stereo camera”为题于2023年7月发表在电力领域知名期刊《High Voltage》上。上述工作为本论文USTC FLICAR数据集的构建奠定了坚实的基础条件，同时数据集的发布也将进一步推动高空作业机器人的研究发展和推广应用。

图4.配网带电作业双臂机器人的示范应用现场

论文链接：

IJRR期刊论文：

[backcolor=transparent !important]https://journals.sagepub.com/doi/abs/10.1177/02783649231195650

High Voltage期刊论文：

[backcolor=transparent !important]https://ietresearch.onlinelibrary.wiley.com/doi/10.1049/hve2.12349

USTC FLICAR数据集下载地址：

[backcolor=transparent !important]https://ustc-flicar.github.io/

（工程科学学院、科研部）