附件2

2020年度国家虚拟仿真实验教学项目申报表

（预填表）

学 校 名 称

南京理工大学

实 验 教 学 项 目 名 称

复杂环境下智能机器人高危作业

虚拟仿真实验

所 属 课 程 名 称

机器人控制技术

所 属 专 业 代 码

080801

实验教学项目负责人姓名

郭毓

有 效 链 接 网 址

http://mool.njust.edu.cn/search.html?m=e

教育部高等教育司制

二零二零年七月

填写说明和要求

1. 以Word文档格式，如实填写各项。

2. 表格文本中的中外文名词第一次出现时，要写清全称和缩写，再次出现时可以使用缩写。

3. 所属专业代码，依据《普通高等学校本科专业目录（2012年）》填写6位代码。

4. 不宜大范围公开或部分群体不宜观看的内容，请特别说明。

5. 表格各栏目可根据内容进行调整。

1.实验教学项目教学服务团队情况

1-1实验教学项目负责人情况

姓 名

郭毓

性别

女

出生年月

1964.4

学 历

博士研究生

学位

博士

电 话

025-84315872-634

专业技

术职务

教授

行政

职务

无

手 机

13236540336

院 系

自动化学院自动控制系

电子邮箱

guoyu@njust.edu.cn

地 址

南京市孝陵卫200号南京理工大学自动化学院

邮 编

210094

教学研究情况：主持的教学研究课题（含课题名称、来源、年限，不超过5项）；作为第一署名人在国内外公开发行的刊物上发表的教学研究论文（含题目、刊物名称、时间，不超过10项）；获得的教学表彰/奖励（不超过5项）。

主持的教学研究课题：

中美“控制类”研究生培养模式的对比，南京理工大学研究生教育教学改革研究与实践课题，2014.11~2016.10

教学研究论文：

数字伺服系统远程实验平台的设计与实现[J]. 实验室研究与探索, 2005, 24(S1): 367-369.

自动化立体车库教学实验系统研制[J]. 实验室研究与探索, 2004, 23(5): 45-47.

强化理论联系实际——谈《调速系统》课程教学的几点体会[J]. 南京理工大学学报(社会科学版), 1996(1):76-78.

基于Internet的毕业设计双向选题系统设计[J]. 实验室研究与探索, 2005, 24(S1): 419-422.

一种虚实结合的双机械臂运动控制实验系统设计，2019全国自动化教育年会论文集，2019.8

一种虚实结合的便携式运动控制实验系统的研发，2017全国自动化教育年会论文集，2017.8

“运动控制系统”课程考试改革与创新能力培养，2017全国自动化教育年会论文集，2017.8

中美研究生培养模式的比较与启示，2015全国自动化教育年会论文集，2015.8

教务管理部门在素质教育中的地位和作用[J]. 高教论坛, 2003(1): 137-138+144.

获得的教学表彰/奖励

国家教学成果二等奖1项，2005年9月，排名第3；

国家教学成果二等奖1项，2018年9月，排名第9；

江苏省教学成果特等奖1项，2017年9月，排名第9；

江苏省教学成果一等奖1项，2004年，排名第3；

国家级教学团队核心成员，2009年，排名第5。

学术研究情况：近五年来承担的学术研究课题（含课题名称、来源、年限、本人所起作用，不超过5项）；在国内外公开发行刊物上发表的学术论文（含题目、刊物名称、署名次序与时间，不超过5项）；获得的学术研究表彰/奖励（含奖项名称、授予单位、署名次序、时间，不超过5项）

近五年来承担的学术研究课题:

面向在轨装配的柔性空间机器人双臂协调控制与振动抑制, 国家自然科学基金项目（61973167），2020年1月2023年12月，主持人；

通信受限情况下正复杂网络的稳定性分析与控制优化，国家自然科学基金项目（61973166）2020年1月2023年12月，排名第2；

充液挠性航天器姿态快速机动控制与多目标协同优化研究，国家自然科学基金项目（61773211），2018年1月2018年12月，主持人；

10kV自主式带电作业机器人系统研制，江苏省重点研发计划项目（BE2017161），2017年7月2020年6月，排名第2，技术负责人；

基于事件触发的复杂网络的同步、一致性和蜂拥控制的研究，国家自然科学基金项目（61473152），2015年1月2018年12月，排名第2.

在国内外公开发行刊物上发表的学术论文：

Robust Adaptive Attitude Control for Flexible Spacecraft in the Presence of SGCMGs Friction Nonlinearity[J]. International Journal of Robust and Nonlinear Control,第3（通讯作者），2018-09.

Adaptive coordinated attitude control for spacecraft formation with saturating actuators and unknown inertia[J]. Journal of the Franklin Institute, 第2（通讯作者），2019-02.

Adaptive fault-tolerant attitude tracking control for spacecraft formation with unknown inertia[J]. International Journal of Adaptive Control and Signal Processing,第2（通讯作者），2018-10.

Attitude Control for Flexible Spacecraft with Disturbance Rejection[J]. IEEE Transactions on Aerospace and Electronic Systems, 第3(通讯作者), 2017-01.

Robust adaptive finite-time attitude tracking and synchronization control for multi-spacecraft with actuator saturation[J]. Proc IMechE Part G: Journal of Aerospace Engineering, 第3(通讯作者), 2019-02.

获得的学术研究表彰/奖励：

XXX控制技术，国防科技进步奖, 二等奖，工业和信息化部，排名第2，2009年12月

XXXXXXX控制技术，国防科技进步奖, 三等奖，工业和信息化部，排名第4，2008年12月

电力运维智能机器人系统关键技术及应用，江苏省科学技术奖，二等奖，江苏省科技厅，排名第10，2019年

1-2实验教学项目教学服务团队情况

1-2-1 团队主要成员（含负责人，5人以内）

序号

姓名

所在单位

专业技术职务

行政职务

承担任务

备注

1

郭 毓

自动化学院

教授

无

主持人

2

吴益飞

自动化学院

副教授

副院长

方案策划

3

李 福

自动化学院

工程师

无

实验设计

4

李 胜

自动化学院

副教授

无

实验设计

5

郭 健

自动化学院

教授

处长

实验方案

1-2-2团队其他成员

序号

姓名

所在单位

专业技术职务

行政职务

承担任务

备注

1

陈庆伟

自动化学院

教授

无

方案论证

2

王海梅

自动化学院

副教授

实验中心主任

实验设计

3

周 慧

自动化学院

副研究员

无

实验设计

4

吴 巍

自动化学院

无（博士研究生）

无

实验设计

5

郑先杰

自动化学院

无（硕士研究生）

无

软件设计

6

高俊彦

自动化学院

无（硕士研究生）

无

软件设计

7

蒋法成

恒点信息科技

总经理

软件策划

8

李媛媛

恒点信息科技

项目经理

项目管理

9

曹 阳

恒点信息科技

工程师

无

软件制作指导

10

殷洪海

常州供电公司

高工

无

带电作业

11

沈 辉

常州供电公司

高工

运维部主任

带电作业

12

章 立

常州供电公司

工程师

带电作业班长

带电作业

项目团队总人数： 17（人）高校人员数量： 11（人）企业人员数量： 6（人）

注：1.教学服务团队成员所在单位需如实填写，可与负责人不在同一单位。

2.教学服务团队须有在线教学服务人员和技术支持人员，请在备注中说明。

2.实验教学项目描述

2-1名称

高空电力作业机器人复杂环境下智能机器人高危作业虚拟仿真实验

2-2实验目的

（1）项目建设必要性

1、电力行业的高空、高危运维工作给智能机器人技术的发展提出了新的方向和要求，跨多学科的工程实践性型人才培养是也新工科专业建设的发展趋势。

2018年，习近平总书记提出的“四个革命、一个合作”的能源战略思想给电力行业的发展提出的新的要求，“西气东输、西电东送”等重大能源工程启动以来，国家电网、南方电网等主要国有企业加强了对10kV变电站的建设和巡检工作，电力行业的实践操作型人才出现了重大缺口，在配电线路维护等危险系数高、劳动强度大的领域引入机器人代替人工作业，将人类从危险的环境中抽离出来，符合机器人技术发展的趋势，也给智能机器人的研究发展方向提出了新的思路。

要实现在复杂多样的变电站环境中自主作业，运维机器人需要利用传感器的信息感知作业环境并在此基础上进行自主的路径规划，控制执行装置完成指定动作。本项目选用的电力运维机器人是基于六自由度双机械臂的协同配合系统，课程专业背景覆盖10kV配电线路运维、六自由度机器人运动学建模、双臂协同机器人运动轨迹规划、图像与视觉处理、数据通信原理、机器人控制指令等多学科领域，符合新工科下多学科融合的发展趋势，实验基于实际工程背景，电力行业也是电气工程及其自动化、智能电网、自动控制专业的优质就业方向，通过建设虚拟仿真平台能够在本科培养阶段为学生提供还原度高的作业环境，通过情景交互和沉浸式教学的方式可以有效锻炼学生的深度思考和实践动手能力，实现教学重心从教师向学生本身的有效转换。

2、由于高空电力运维工作复杂性高、危险性大、实地实验成本高等一系列因素，实验室无法完全还原现场，实验必须依托虚拟仿真平台展开。

10kV配电线路一般为架空于12m-15m的高空的裸导线，线路维护作业需在高空带电进行，十分危险。实际从事电力运维的工作人员必须具备相关行业的从业资质才能够到现场进行作业，传统的运维工作一般是小范围、分批次、短时间的基地参观实习，学生很难有深刻的体验和切实的感受，且难以还原实际场景进行算法优化和参数调试。

此外同时，配电线路建设覆盖范围之广、电线杆假设体积之大决定了该课程无法在实验室等比例还原，且实验室难以完全模拟阴天、傍晚、多云等多种天气情况，每次将智能机器人运输到现场进行实验的成本消耗也是高等院校的教学实践难以承担的。虚拟仿真实验技术的飞速发展，可以完全规避外出实地实践的风险，虚拟仿真实验环境网络化教学也可降低课程学习的门槛，且与传统的机器人调试学习不同的是，学生可以依托一站式虚拟仿真实验平台完成理论掌握、设备组装、参数整定、运动学建模、机器人运行调试的全过程学习，在保证课程覆盖面的同时也有效提高了教学质量，有利于激发学生的学习兴趣和研究潜能。

同时，情景体验式教学方法可以让在高墙中埋头学习的学生理解电力行业工作的重要性，体会到智能控制技术对于提高生产实习效率、保护人民生命发挥的重要作用，潜移默化的培养学生的科研担当和投身创新事业的情怀与使命感，这也是教学的重要组成部分。

3、双臂协同机器人控制难度大，设备成本高，基于图像预处理、运动轨迹规划等技术的精准控制、最优控制算法要求高，在虚拟仿真平台进行参数训练可极大提高调试优化效率。

近年来，国产机械臂的研制和开发促进了多自由度机器人控制算法研究的普及，国内多家科研院所都已经购置少量机械臂，但是用于本科教学实验的设备还仅限于科研训练、毕业设计等小范围的探究型学习，考虑到学生对机器人的理解更多地仅局限在理论上了解其工作原理，直接操作实际机器人极易发生碰撞，带来人身或设备伤害，而电力运维机器人一般要求控制算法精准、操作速度快，建设虚拟仿真实验平台为学生学习的容错纠错提供了可能，也为学生完成机器人运动学建模、参数整定提供了基础。

高空电力作业机器人复杂环境下智能机器人高危作业虚拟仿真实验平台的开发拓宽实际实验室平台的承载能力，节约机器人购置成本，延伸了学生学习的时间和空间，充分体现了“5G+互联网”技术的发展为智能机器人控制技术的普及和研究带来的便利。

综上，建设高空电力作业机器人复杂环境下智能机器人高危作业虚拟实验平台具有重大的教学意义和极强的必要性。

（2）学生实践培养目标

本团队依托南京理工大学国家级“双一流”学科建设点，“电气工程及自动化”国家级虚拟仿真实验教学示范中心、“高维信息智能感知与系统”教育部重点实验室和 “多运动体信息感知与协同控制”江苏省高校重点实验室和江苏省自动化实验教学实验示范中心，面向社会对能够从事高危作业机器人研发的创新人才培养的需要和南京理工大学“自动化”国家级一流专业建设任务，坚持以学生为中心的实验教学理念，遵照虚拟仿真实验项目 “能实不虚，虚实结合”的原则，将科研成果反哺实验教学，自主研发了高空高压环境下的配电线路维护机器人控制算法并嵌入到虚拟仿真实验平台，平台面向高校和企业免费开放。

本实验项目依据《机器人控制技术》、《机器人控制技术创新创业实践》课程大纲和关键知识点，针对当前国家急需培养能够从事高危作业机器人研发的创新型人才的需求，结合10kV配电线路维护机器人研发的工程实际，通过计算机三维仿真技术，设计高空电力作业机器人复杂环境下智能机器人高危作业虚拟仿真实验，再现配电线路维护中经典的更换避雷器的真实作业场景，还原整个操作的全过程，旨在培养学生的系统性思维方式和解决复杂问题的综合能力，具体实验目的包括：

（1）通过高空电力作业机器人复杂环境下高危作业的系统认知与智能机器人模块化组装调试与环节，帮助学生理解智能机器人的系统组成模块、自动控制原理和信息采集与传输技术，通过自主操作感受智能机器人自主感知环境、调整控制路径、完成控制作业的全过程，使学生具备智能机器人结构组装、系统设计、简单功能调试的能力。

（2）使学生掌握图像处理技术和和基于双目测定的位置标定算法，促进学生对6自由度机械臂运动学模型建模和运动路径规划的学习和理解。介绍基于DH参数法的空间轨迹机械臂建模和笛卡尔空间建模路径规划，引入评估函数求运动路径的最优规划，通过实时展示参数整定对机器人运动路径的影响加深学生对机械臂运动控制规律的理解，通过遥操作与自动控制虚拟场景与实际调试相结合的方式使学生具备基于视觉引导的多关节机器人运动学建模、运动轨迹规划、控制算法设计优化的能力。

（3）通过真实还原高空电力作业场景，下发避雷器更换的电力作业任务，由通过实验引导与学生自主自主设计操作步骤详相结合的方式，帮助学生综合综合理解和应用所学轨迹规划、信息处理、控制算法相关的知识，控制智能机器人代替人工完成高危进行高空电力作业，使学生具备解决工程实际问题的能力。后续还将提供开放性场景设计功能，由学生进行自主设计场景并解决问题，提升学生的探究能力并进一步激发学生的学习兴趣。

2-3 实验课时

（1）实验所属课程所占课时：48

（2）该实验项目所占课时：6-8

2-4实验原理（简要阐述实验原理，并说明核心要素的仿真度）

实验包含三四个主要环节，以工程实际高空电力作业为背景，紧扣《机器人控制技术》、《机器人控制技术创新创业实践》《智能机器人设计》、《运动控制原理》、《运动控制原理》课程大纲中的14个知识点展开。实验内容由浅入深，兼顾知识性与趣味性，实验开始后学生会来到户外变电站高铁配电线路工作站点，通过互动引导实地观察机器人的作业环境，了解更换避雷针避雷器的作业任务，通过对项目所选用的双臂协同智能机器人进行系统装配、视觉处理、运动学建模、轨迹规划、双臂协同操作控制一系列的任务，最终使用实现对复杂环境下智能机器人高危作业的遥操作与自动控制相结合的方式，通过设计完整的操作作业步骤，让智能机器人自主完成更换避雷针避雷器的任务。

配电线路维护机器人虚拟仿真实验项目按照双机械臂在高空更换避雷器的实际工作状态，设计了虚拟高空更换避雷器的工作场景和作业流程，包括电力作业机器人装配与调试，基于视觉引导的位置标定和运动学建模、双臂协同机器人自动完成高空更换避雷针作业该虚拟仿真教学实验主要包括认知、实践、探究三大模块，结合高铁站配电线路故障的实际场景，通过任务驱动的方式帮助学生具备将所学的理论知识应用于工程解决实际问题的能力。

1、双机械臂的机械结构及其运动学模型的虚实结合教学智能机器人模块化设计及功能调试的认知教学—机器人“系统搭建”

借助带电作业中双机械臂的实际设备，结合虚拟仿真教学软件的使用说明和虚拟模型介绍，要求学生掌握机械臂的机械结构、UR机械臂的通信方式、机械臂的远程控制方法及机械臂的正逆运动学模型，并通过编程建立机械臂的正逆运动学模型、控制虚拟机械臂运动、最终远程通信控制实际机械臂运动智能机器人代替人工完成复杂环境下的高危电力作业，需要学生对电力作业环境有足够的认知，充分了解机器人代替人工作业的关键操作。同时，双臂协同机器人系统组成包括动力模块、通信模块、视觉模块、控制模块和末端执行模块，本实验重点关注控制算法的实现和参数优化，但是系统的整体组装和功能调试是必不可少的操作。

关键仿真要素：电力作业场景、智能机器人各组成模块。

2、智能机器人手眼结合工作原理应用教学—机器人“眼睛看到”机械臂自主无碰撞路径规划

根据重构的作业环境及识别出的抓取目标的位置，要求学生能够使用路径规划算法规划出机械臂的无碰撞路径，并于虚拟仿真平台上进行验证，若与虚拟场景发生碰撞则系统发出警报，反之即可将路径发送到实际机器人系统，并通过控制气动夹爪开合，完成抓取动基于伽马参数调节的图像处理算法使机器人对于工作场景能够准确识别，并快速标定作业目标，通过对“眼在手上”的机器人进行位置标定和距离测定，为后续运动路径规划提供基础作。

关键仿真要素：全景相机拍摄作业画面、“眼在手上”的机械臂结构、机器人视觉处理全过程分析及伽马参数调节。

3、设计动作流程控制机械臂完成作业任务双机械臂运动学建模及运动路径规划互动教学—机器人“手臂抓到”

根据指定作业任务，以更换避雷器为例，设计动作序列完成更换避雷器的作业任务，并于虚拟仿真平台上进行验证，若虚拟机械臂能够无碰撞自主到达各设定点，则可于实验室场景中进行验证，完成指定作业任务对机械人进行运动控制的前提是对6自由度机械臂进行运动学建模，学生需要掌握基于DH参数的多自由度空间建模，机械臂正逆运动学求解以及基于笛卡尔空间和关节空间的运动路径规划。

关键仿真要素：6自由度机械臂运动学建模、随参数整定的运动路径。

4、复杂环境下电力作业任务分解与功能实现情景式教学—机器人“自主作业”

实验下发了10Kv配电线路避雷器更换的工作任务，通过对拆卸避雷器的工作任务分解使学生理解理论知识在实际场景中的具体应用，引导学生结合视觉处理、路径规划、末端控制等内容完成复杂环境下的高危作业。

关键仿真要素：末端执行工装、高空带电线路、避雷器及相关连接装置。

知识点：共 10 11 个

知识点1：高空电力作业机器人系统设计要求工业机器人复杂工作场景

10kV二次降压配电线路故障运维是智能工业机器人代替人工进行高危作业的典型应用场景。配电线路在电网中担负着分配电能的任务，是直流输电网与用户供电之间的传输纽带。架空配电线路由杆塔、导线、横担、绝缘子、金具、接地装置和杆上电器设备等部件组成，三相线路中任意两相间或任意相与地线间的电压差极大，机器人系统需做好绝缘防护措施，以避免系统短路等异常情况对机器人系统或电网造成冲击；配电线路维护中某些作业任务的作业空间狭小(如更换避雷器)，各相引线的距离较近，对机器人系统的作业可靠性有较高要求。此外，配电线路作业环境具有非结构化的特点，不同年代和不同区域的布设存在一定的差异，故障的电器设备所采用的型号和结构亦不尽相同，因此，线路设备可能的故障情况在操作前是不可预见的，需要机器人根据实际作业环境进行自适应调整。

核心要素仿真度：真实还原实际电力作业场景，以高铁站配电线路为例，智能机器人在13m高空进行作业，可以调节风力、电线间距离等非结构化环境要素来设计不同的场景供学生进行调试，配电线杆上的电缆、绝缘子、T型线夹、跌落式熔断器、横担、避雷器（故障前后）需要1:1还原。

知识点2：机器人系统组成与设计:机器人的编程模式、性能指标、工作空间双臂机器人结构及工作原理

双臂智能机器人系统安装于自行式绝缘高空带电作业平台上，系统整体如图所示。该系统由自行式绝缘高空带电作业车、双机械臂、运动控制模块、动力模块、视觉模块、专用末端执行器和多级绝缘防护模块等部分组成。

自行式绝缘高空电力作业机器人平台

机械臂置于自行式绝缘高空带电作业平台上，可升至高空进行作业，主控计算机置于地面上专用控制室内，通过光纤通信实时传输机械臂关节角度数据和各传感器信息至主控计算机，主控计算机进行运动控制，运动控制系统根据电力作业任务自主规划路径，接收机械臂上传感器的信息并进行处理，规划出自主式作业的路径和轨迹发送给机械臂执行。同时通过可视化窗口，观察机械臂的运动轨迹，实时监控机械臂状态。

核心要素仿真度：1:1还原自行式绝缘高空带电作业车、控制柜及操作平台、动力模块、通信模块、双机械臂及视觉模块等6个模块共11个配件，学生可拖拽各配件进行系统组装。

知识点3：双臂协同机器人的自由度、坐标形式、参考坐标系模块化机器人设计原理

知识点4：基于伽马校正的图像预处理技术

为了使带电作业机器人能够准确地识别作业目标，必须对采集的图像进行预处理，对于整体灰度值偏低和偏高的图像采用gama校正的方法进行图像增强。Gama校正是对输入图像灰度值进行的非线性操作，使输出图像灰度值与输入图像灰度值呈指数关系，伽马校正公式如下：

其中，为输入像素值，为输出像素值，=256为灰度等级，为gama校正的参数(可调节)。

由上式可知，当时，在低灰度值区域内，动态范围变大，图像对比度增强，在高灰度值区域内，动态范围变小，图像对比度降低；当，在高灰度值区域内，动态范围变大，图像对比度增强，在低灰度值区域内，动态范围变小，图像对比度减弱。

Gama校正：原图(左)、(中)、(右)

知识点5：基于HSV颜色空间的目标检测

在图像处理中，最常使用的颜色空间为RGB颜色空间，每种颜色由红(R)、绿(G)、蓝(B)三种分量所组成。另外一种广泛使用的颜色空间为HSV颜色空间，与RGB颜色空间相比，HSV颜色空间更符合人的视觉特性，而且反应目标色彩本质特性的色度分量在HSV中是独立的，不与其他分量存在关系，因而被广泛应用于图像分析、图像分类等研究中。由于避雷器表面为红色，可以利用这一颜色特征进行检测，因此本文选择HSV颜色空间。

在HSV颜色空间中，HSV中H代表色调，S代表饱和度，V代表亮度，每种颜色由这三种分量所组成。HSV颜色空间的锥形示意图如图所示。圆锥的顶点代表色，此时V=0、H和S无定义；圆锥的底面中心点代表白色，此时V=1、S=0、H无定义；从圆锥的顶点到底面中心点的这条线段代表不同灰度的灰色，此时、S=0、H无意义。

HSV颜色空间

一般获得的图像均在RGB颜色空间，则需要将RGB颜色空间图像转换到HSV颜色空间。设RGB颜色空间的红、绿、蓝三个分量值分别用R、G、B表示，HSV颜色空间的色调、饱和度、亮度三个分量值分别用H、S、V表示，为R、G、B中的最大值，为R、G、B中的最小值。从RGB颜色空间到HSV颜色空间的转换可以通过公式实现。

若，则

避雷器相对于环境有比较明显的颜色特征，这里考虑利用HSV三通道的像素值采用阈值分割的方法分割出避雷器区域。

图像二值化的公式如下：

其中，为二值化像素值，分别是H通道的下限值和上限值，分别是S通道的下限值和上限值，分别是V通道的下限值和上限值。

接着利用二值化后的图像，提取出避雷器区域的轮廓，计算出轮廓的最小外接矩形，上端点的中点即为螺母安装在避雷器上的位置。

知识点6：基于双目测距的机器人手眼位置标定眼在手上的机器人目标测距原理

小节将利用上一小节中避雷器上端螺母在左右目相机图像中的位置，基于双目测距原理计算得到螺母在相机坐标系下的位置。基于视差原理的双目视觉三维测量原理图如图所示。

双目立体成像原理图

图为双目立体成像的理想模型，即左右相机成像平面共面、光轴完全平行且在同一水平面上。其中为基线距，即左右相机光心之间的距离。设处于两相机同一视场中的空间点在在左目相机坐标系中的坐标为，对应的在左右相机的图像像素坐标系中的坐标分别为和。由于经过立体校正之后，左右相机的成像平面完全共面且行对准，内参数近似相等，则对应的在右目相机坐标系中的坐标为。

手眼标定结果即可得到该空间点在机械臂基座坐标系中对应的坐标为

双目相机测距原理图如图所示，、分别为左右相机的光轴，是两个相机的焦距，是相机之间的距离，同理，，是物体P在左右相机中的成像点，坐标分别为，。

双目测距原理示意图

利用相似三角形原理，在和中，根据相机之间的距离d、焦距f和P点在左右目图像中的坐标，计算出物体P的远近，有如下关系：

据此可直接计算出目标物与执行末端之间的距离，作为机械臂运动路径规划的重要参考。

知识点7：知识点5：基于D-H法建立机器人的正逆运动学方程参数的6自由度机械臂建模

以机器人的连杆和关节的关系为基础，D-H参数用4X4阶的齐次变换矩阵来描述相邻连杆之间的相对关系，可方便的求出雅各比矩阵。

为建立关节转角与末端位姿变换之间的关系，D-H参数法首先需在机器人各关节处固接坐标系。如图所示

坐标系的位置设置在关节处，并与连杆末端固接。采用下述三条坐标系的建立规则：(1) 沿关节的运动轴建立轴；(2) 轴垂直于轴，并由轴指向轴；(3) 轴按照右手定则垂直于轴和轴。

建立坐标系后，由相邻两坐标系可得到D-H参数法的四种参数：连杆长度、连杆扭转角、连杆偏置距离和关节转角。

知识点8：6自由度机械臂正逆运动学求解知识点6：基于雅可比矩阵的机器人微分运动与坐标系微分运动的关系

机器人正运动学建立了机械臂关节状态到末端坐标系位姿表示的求解方程。由机械臂的D-H参数模型可得到机械臂相邻连杆坐标系间的齐次变换矩阵。对于多自由度机器人，其关节向量所构成的空间称为构型空间，其末端在笛卡尔坐标系下可达的范围称为工作空间。机器人逆运动学给出了机器人在工作空间下一组位姿表示到构型空间关节角向量的映射。

知识点7:基于笛卡尔空间的双机械臂关节空间轨迹规划

知识点89: 基于笛卡尔空间和关节空间的图形学碰撞检测算法轨迹规划

机器人的轨迹规划算法按其规划空间又可分为关节空间轨迹规划和笛卡尔空间轨迹规划两种。关节空间轨迹规划以某一关节角度关于时间的函数来建立该关节的运动轨迹，同时对多个关节的运动加以描述即可得到机器人的运动轨迹。笛卡尔空间轨迹规划在任务空间规划机器人运动中末端位姿的运动轨迹，适用于对末端轨迹精度有严格要求的作业任务。

知识点910:结合图像处理、机器学习以及深度学习的目标检测技术：基于复杂场景作业的任务分解及机器人智能控制

采用机器人替代人完成带电作业任务，可简化人工带电作业任务过程中繁琐的绝缘步骤，专注任务动作流程即可。机器人系统需进行的核心动作如下表所示，可大致分为10个过程，包括：避雷器的抓取、避雷器上下端螺帽的拆装、引流线与避雷器的分离与固定等。

拆装避雷器主要动作

步骤编号

步骤内容

1

抓取稳定避雷器本体

2

拆除避雷器上端螺帽

3

取出避雷器上端引流线，暂时固定安放到安全位置处

4

拆除避雷器下端与横担的固定螺帽

5

取出破旧、损坏避雷器，放置到回收装置中

6

抓取新避雷器放置到旧避雷器位置

7

通过螺帽将避雷器下端与横担固定

8

将引流线放置回新避雷器上端螺杆中

9

锁紧避雷器上端螺帽，将引流线与避雷器固定

10

机器人复位，完成动作

上述步骤执行过程中，手臂在运动过程中需要避免与周围物体的碰撞，尤其是与两相线缆间的长时间接触，这就要求既要做好平台中机器人的绝缘防护工作，又要考虑在对机器人进行控制时能够做出危险碰撞的预判和规避；机器人能否成功抓取避雷器取决于定位信息是否准确，视觉测量数据是系统运行不可或缺的部分；机器人工作在高空中，为了保证动作执行的安全性与可靠性，机器人控制系统需具备实时监控功能。

知识点11：双机械臂控制位置倾斜的静态补偿

知识点10：双臂协同控制策略

2-5实验仪器设备（装置或软件等）

本实验通过建模，带学生来到3公里长的高铁站配电线路，在高铁站架设高度为13m的10kV高压三相电线杆并还原了用于电力运输及保护的6个组成要素，为学生提供真实的电力作业场景；使用计算机3D仿真技术给高空作业绝缘斗臂车、机器人工作平台以及智能机器人的14个组成部件进行1:1建模。实验仿真程序及算法均来自于科研项目中的真实算法及实测数据。

（1） 电力作业场景、三相电线杆及组成要素

（2） 绝缘斗臂车、白色工作平台

（3） 机器人系统及组成部件

2-6实验材料（或预设参数等）

1、机械臂DH参数运动学建模：

2、正逆运动学求解：

3、光照条件及图像预处理参数：

4、末端执行工装操作指令：

5、数据通信端口：

2-7 实验教学方法（举例说明采用的教学方法的使用目的、实施过程与实施效果）

使用目的：通过任务驱动与情景交互，使学生认识工业机器人代替人工进行高危作业带来的社会价值和经济价值，培养自动控制原理的学习兴趣；通过虚拟仿真实验提供调试环境，使学生了解智能机器人设计及工作流程，掌握相关原理，为实际操作机械臂打下良好的基础，减少不必要的人身或设备损害；通过实践引导与开放式探究，培养学生的系统性思维，提升学生解决复杂场景智能机器人控制能力。

与此同时，虚拟仿真实验教学平台的搭建有效地降低设备购置成本，拓宽实验室平台的承载能力，使教学活动更丰富、教学管理更高效，充分体现出教育信息化的发展方向。

实施过程：

1、引导式学习

本实验以高铁站配电线路避雷器故障处理为工程背景，通过对电力作业场景、智能机器人系统组成模块的引导式介绍，借助等比还原的真实场景和模型引导学生进行认知学习，建立具象的知识体系，同时帮助学生充分认知复杂环境下智能机器人代替人工进行高危作业的必要性和注意事项。

2、试错交互型学习

由于学生对机器人的学习更多地是停留在理论层面，要完成智能机器人控制如此复杂的任务，避免机器人碰撞导致的设备或人身伤害，需要学生在虚拟系统中进行多次练习与试错，培养其观察思考与总结能力。在系统调试模块，学生根据DH参数法对机械臂进行运动学建模，基于笛卡尔空间和关节空间进行路径规划，允许学生进行参数调试最终实现对机械臂运动学的精准控制，实验过程中参数调节错误将出现错误提示，通过试错型及交互相结合的方式让学生掌握机械臂运动学控制方法。

实施效果：环节一和环节二为知识认知和功能调试，旨在帮助学生将课程中所学的理论知识应用到工程实际，熟练掌握机械臂运动学建模和路径规划的参数整定。通过情景交互使学生掌握电力作业的内容及安全事项；通过模型与知识点的对应让学生掌握智能机器人的硬件组装及软件调试方法。

3、情景沉浸及任务驱动式教学

为提高学生参与并完成实验的兴趣，给学生设置了高铁站配电线路避雷器故障的情景，学生接收到控制智能机器人自主完成避雷器更换作业的任务。学生利用视觉控制及运动学控制相关知识点，结合具体实验环境进行参数整定和算法优化，驱动机器人完成任务。实验考核指标来源于学生控制机械臂的稳定性、快速性、准确性性能指标，任务挖成的质量是实验成绩评定的依据。

4、实验引导与自主探究结合

故障避雷器更换作业可拆解为旧避雷器拆卸和新避雷器安装两个子任务，本虚拟仿真教学实验通过引导帮助学生完成旧避雷器拆卸的步骤分解，使学生具备解决复杂问题的思维和能力。新避雷器安装环节的实验步骤和算法完全由学生自主设计，实验中的风力和光照条件采用“一人一题”的策略，学生可对步骤进行简化，对于运动路径也可自主规划，但是实验中的注意事项如禁止触碰三相电线、双机械臂不能发生碰撞等内容进行严格限制，对于参数整定采用控制变量的方式进行，最终评定标准是学生完成任务的质量：稳、快、准。

实施效果：本实验将工程实际的情景代入和实际作业任务的驱动强烈激发了学生的实验兴趣，通过对任务的拆解使用实验引导与自主探究相结合的方式极大提高了学生的实验操作的技能领悟能力。

2-8实验方法与步骤要求（学生交互性操作步骤应不少于10步）

虚拟仿真实验主要包括认知调试模块及实验探究模块，其中环节一和环节二以高铁站配电线路故障的真实案例引入，通过情景渲染带学生进入复杂作业场景，采用人工作业和智能机器人作业的效果对比使学生理解实验进行的必要性，并对实验设计的最终目标进行确认。

操作步骤：学生使用可联网计算机，通过chrome浏览器登入网址http://mool.njust.edu.cn/search.html?m=e，实验开始前学生通过阅读实验简介了解实验目的及实验内容，确认具备先学知识后可开始实验。

实验以2011年7月因天气原因造成配电线路故障，进而导致30趟列车晚点的真实新闻事件切入，强调不停电作业的必要性和重要性。通过虚拟现实技术还原雷电天气导致避雷器损坏，使用动画的形式生动展示人工进行带电作业的危险，给学生下发设计和控制智能机器人代替人工完成不停电更换避雷器的任务。

学生交互性操作步骤，共15步。

环节一：、系统组成及工作原理

步骤1：、高空电力作业相关知识学场景认知。习

点击“作业场景认知”子按钮，跳转到以下界面。点击三线电杆的各个部件，观察并学习部件功能，结束后保存退出。

步骤2：机器人系统认知。

点击“机器人系统认知”按钮（也可以点击“机器人”按钮进行跳转），再点击各个零部件，阅读右下角的相应部件介绍，完成机器人系统认知，结束后保存退出。

步骤3：硬件系统构建。

点击“硬件系统构建”，进入机器人系统组装模块，将各个部件从配件库中依次拖拽至对应位置，完成系统构建后保存退出。

实验报告：

（1） 填写智能机器人电力作业主要注意事项；

（2） 顺利完成机器人各组成模块的功能认知，完成模块与对应功能的正确匹配。

（3） 通过拖拽的形式完成智能机器人系统的组装，记录是否按模块完成及装配所需时间。

环节二：功能设计与调试配电线路在电网中担负着分配电能的任务，是直流输电网与用户供电之间的二次降压网络。带电作业是指在高压电气设备上不停电进行检修、测试的一种作业方法。电气设备在长期运行中需要经常测试、检查和维修。带电作业是避免检修停电，保证正常供电的有效措施。配电线路主要的带电作业项目有更换针式绝缘子、断接引线、更换避雷器、更换横担、更换跌落式熔断器、带负荷加装分段开关、带负荷加装刀闸等。

子环节1：机械臂运动控制与调试

步骤4：机械臂运动学建模

点击“D-H参数法”按钮，依据提示填入表格中空缺的机械臂参数，完成后点击“确定”，进入下一步。

步骤5：机械臂正运动学求解

点击“机器人运动学正解”按钮，根据要求将机械臂的各个关节调至相应角度，点击“执行”，观察机械臂的运动，点击“重置”后，机械臂恢复至初始零状态。

步骤6:机械臂逆运动学求解

点击“机器人运动学逆解”，根据给定的末端位置结算机械臂各关节角，点击“执行”，观察机械臂末端位置是否与目标位置重合。

步骤7: 关节空间轨迹规划

点击“关节空间路径规划”，根据约束条件，使用五次多项式插值算法进行关节轨迹规划，观察输出的角度、角速度和角加速度曲线，判断机械臂运动是否平滑、稳定。

步骤8:笛卡尔空间路径规划

点击“笛卡尔空间路径规划”，输入机械臂末端的位置坐标初始值和终止值，并点击“直线轨迹规划”运动画出正方形，点击“圆弧轨迹规划”按钮运动画出圆形。完成后保存退出。

人工带电作业可以根据人的工作经验对线路进行检修和测试，能够准确找到线路的故障点，并且及时解决，但往往需要多名技术娴熟的工人合作进行操作，对工人的技术要求比较高。另外，人工带电作业时操作人员处于高电压、强电场的威胁中，且升空频繁、精神紧张，容易引发人身伤亡事故。配电网处于电力系统末端，直接和用户设备连接，其可靠性在整个供电可靠性中占有非常重要的位置，目前带电作业已成为保证配电网安全可靠运行的重要手段之一。但带电作业容易发生误操作，工作人员由于没有注意到的操作失误导致送电事故的发生。在点杆塔没有进行断电处理的时候施工人员就进行带电作业，就容易造成触电危险。

步骤2:带电作业内容认知—以高空更换避雷针为例

避雷器是用于保护电气设备免受高瞬态过电压危害并限制续流时间也常限制续流幅值的一种电器，也称为电压限制器。其中，金属氧化物避雷器是用于保护输变电设备的绝缘免受过电，具有通流能力大、保护特性优异、密封性能良好等特点。常见的金属氧化物避雷器如图1所示。

图1 避雷器

避雷器的连接方式是上端接线路，按接地，常连接在电网导线与绝缘横担之间。执行更换避雷器作业时，主机械臂有前往运动并夹持避雷器、拧螺帽、取出旧避雷器、装新避雷器至横担安装孔（对孔装配）等任务；辅助机械臂有夹取并取出和放置引线的任务。因此当双械臂进行作业时，需要为双机械臂进行合理分工、规划任务，并设计交互性好的遥操作方案。典型的含有避雷器的电力线路环境如图2所示。

图2 典型的含避雷器电力场景

步骤3、高空电力作业机器人认知

随着互联网及人工智能技术的飞速发展，设计电力运维机器人来代替人工进行带电作业已经成为自动控制领域的重要研究方向，配电线路维护作业环由于其环境特殊性对智能机器人的系统设计也有很高的要求：

(1) 配电线路维护作业一般在10m以上的高空进行，将机器人系统送上高空后，对机器人系统与地面控制中心的通信稳定性有较高的要求。

(2) 配电线路通常为10kV高压电路，三相线路之间或者各相线路与地电位之间的电压差很大，对机器人系统的绝缘性有较高的要求。

(3) 作业空间狭小，各相引线之间的距离较近，且部分电气设备安装在电线杆附近区域的装置上，对机器人系统的作业可靠性和灵活性有较高要求。

(4) 作业环境非结构化，不同年代和不同地区的布置存在一定的差异，所使用的电气设备规格也不尽相同，对机器人系统的通用性有较高的要求。

步骤4:高空电力作业机器人系统组成模块

（1） 机器人系统组成—模块化设计思维

（2）分模块组装双臂协同机器人

双机械臂作业系统（机械系统）：两个作业臂均为电机驱动的6关节轻型机械臂，6自由度可以保证作业臂具有较高的运动灵活性。此外，作业手臂的运动控制分为主从遥操作和视觉导引两种方式，为后续功能开发留下了可选择性。在遥操作模式下，操作人员在远端通过遥操作杆对作业手臂的运动进行控制，通过全景相机的实时现场图像反馈以及3D虚拟场景中机械臂和环境信息的实时构建，可以较为精确地操作作业手臂完成相关动作；当需要进行精细操作时，切换到视觉导引模式下，依靠双目视觉测量得到的目标位置和姿态信息，设计相应的运动控制方法，控制作业手臂完成精确定位和抓取等作业过程。

控制系统：机械臂控制柜上装有示教器接线接口、动力电缆和各类信号线，机器人本体内伺服电机的编码器电缆与控制柜内的计算机进行信息的交流，以便形成闭环控制，来保证机器人位置控制的精度。

视觉系统：各机械臂末端的双目相机和全景相机等组成。双目相机完成对作业目标的识别、匹配和测距，将作业目标的相对位姿提供给运动控制系统以完成视觉导引过程。全景相机由支撑臂架设在斗臂车作业平台后方，完成对作业场景及机器人的视频监控。

动力系统：动力系统中包括3组锂电池和逆变器以及一个无油空气压缩机。锂电池和逆变器分别给控制系统、通信系统以及视觉系统供电，空压机给安置于主机械手以及辅助机械手上的工装提供气动支持。

逆变器：（图片+模型+工作原理）

锂电池：（图片+模型+工作原理）

机械臂：（图片+模型+工作原理）

专用末端执行器：根据典型电力作业任务场景可知，机械臂需配备专用末端执行器以应对多种复杂的作业任务。气动元件具有尺寸较小和输出力矩较大的特点，且气动元件相比电动元件能够更好地绝缘，因此，针对典型作业任务，本项目选用气动元件设计相应的末端执行器。

绝缘防护系统：由于系统处在高压环境中，不同相位的导线间及导线与地线间有极大的电压差，若系统电气回路与存在较大压差的两根导线连通，则很有可能导致系统损毁。因此，本项目采用本体绝缘防护、电气系统绝缘防护和绝缘工器具设计等三级绝缘防护设计。本体绝缘防护对各机械臂进行绝缘包裹，并对各机械臂本体、电源和控制设备架设绝缘支撑。电气系统绝缘防护将各机械臂间的电气回路以及斗臂车的电气回路隔离开，采用无线通信及光纤通信完成该隔离任务。绝缘工器具设计是指在末端执行器层面实现系统绝缘，一方面，系统采用绝缘材料制造相应器具，另一方面，采用绝缘的连接件使工器具满足一定的绝缘等级。

步骤5:双臂协同机器人工作原理认知（遥操作与示教操作相结合），输出实验报告

机械臂置于自行式绝缘高空带电作业平台上，可升至高空进行作业，主控计算机置于地面上专用控制室内，通过光纤通信实时传输机械臂关节角度数据和各传感器信息至主控计算机，主控计算机进行运动控制，并具有视觉和遥操作等功能的人机交互系统。

运动控制系统根据电力作业任务自主规划路径，接收机械臂上传感器的信息并进行处理，规划出自主式作业的路径和轨迹发送给机械臂执行。同时通过可视化窗口，观察机械臂的运动轨迹，实时监控机械臂状态。

人机交互系统具有通过监控全景相机实时观察作业现场环境的功能，同时可以接收视觉传感器的数据智能识别作业对象并测量其姿态，并将所测信息其发送给运动控制系统进行路径规划。同时人机交互系统还具有遥操作功能，可使用遥操纵杆及时对机械臂进行人工干预以便应对突发状况。

考核点：

分模块认知双臂协同机器人的组成结构，了解各个模块的设计和选型要求，通过拖拽的形式完成机器人组装并进行简单的运动控制。

实验报告：

1、 根据高空电力作业环境要求，设计合适的模块参数。

2、 分模块组装机器人系统，描述各模块的组成，完成系统装配。

环节二：高空电力作业机器人运动轨迹规划

步骤6：对多关节机械臂进行运动学建模 （知识角 DH参数）

给出多关节机械臂的运动学参数，学生改变其中的参数，查看机械臂对应的位姿和运动状态。

步骤7：双机械臂运动学建模（知识角 雅各比矩阵）

给出双机械臂运动学参数，学生改变机械臂的参数，查看双机械臂机器人的运动状态。

步骤8: 对多关节机械臂进行运动轨迹规划 （知识角 关节空间+笛卡尔空间参数法）

下发动作任务（画圆弧），由学生设计合适的参数，控制机械臂完成任务。

会出现的错误：矩阵结算不出来，速度算出来会无穷大，需要避免（求逆解比较困难）

步骤9：对机器人进行相机标定和手眼位置标定（知识角：机器人运动 ）

相机标定为测距做准备，手眼标定（眼睛看到的距离转换到机械臂空间的距离）达到精准控制的目标

将机器人放置在实验室环境中，学生设计运动路径，使机器人完成点到点的精准运动控制。

步骤10（综合）：通过遥操作与机器人自主运动相结合完成小任务（绘制8字，重复进行3遍以验证控制的精准程度），输出实验报告

考核点：

双臂协同机器人正逆运动学求解，设计运动路径（关节空间+笛卡尔空间计算），允许学生操作失误后进行修正。

实验报告：

1、 圆弧绘制代码及实验结果。

2、 8字绘制代码及实验结果。

环节三：高空电力作业机器人完成避雷针更换

通过遥操作主双机械臂和示教的方式完成更换避雷器的作业任务，装旧避雷器至支架及至支架取新避雷器回横担的过程为固定位置示教实现，其余部分为遥操作实现。

步骤11:给出实验背景，下发实验任务。

描述避雷针老化场景和潜在安全隐患，下发更换避雷针的任务。

步骤12:使用作业车将双臂协同机械人运送至高空，由学生设计运行轨迹和操作步骤，拆除旧避雷针

步骤13:双臂协同，安装新避雷针。

步骤14:运行完整程序，通过遥操作和机器人自主操作相结合的方式，完成避雷针更换任务，输出实验报告。

考核点：

复杂环境下双臂协同机器人操作步骤设计、机器人运动控制及草足控制。

实验报告：

1、 机器人拆装避雷针流程图。

2、 运动控制代码及实验结果图片。

提升环节四（可选）：高空电力作业机器人完成拆引线操作

子环节2：视觉系统调试模块

点击“目标识别与测距”模块，显示左右目相机采集到的图像。左侧显示知视角和步骤引导窗口，右侧显示“图像预处理”、“目标识别”、“双目测距”三个子模块（任务）。

调整机械臂位置，使避雷器在双目相机视野范围内，以便于目标识别与测量。

步骤9：图像预处理

点击“图像预处理”模块，弹出图像预处理窗口，包括正常光照、强光照、暗光照三种环境，默认为正常光照，选择一种环境以后，图像显示切换到对应的光照环境，下面是gamma参数设置窗口，手动输入gamma参数，默认参数1.0，可以修改gamma参数，点击应用以后，左右相机图像也随之改变，要求将图像调节到合适的亮度为止。

注：需要完成强光照和弱光照两种环境的预处理。

步骤10：目标识别

点击“目标识别”模块，弹出目标识别窗口（图像显示为正常光照，与上一步无关联），输入H、S、V三个通道的范围，共6个参数(两个参数确定一个范围L

步骤11:双目测距

在完成“目标识别”后，点击“双目测距”模块，弹出测距窗口要求输入双目相机基线距离(单位：mm)、以及左右目相机的光心在像素坐标系下的坐标，输入完成点击确认，显示测量得到的目标三维位置（X、Y、Z）信息（与真实值对比）。

子环节3：末端执行工装调试

步骤12:末端执行工装调试

实验报告：

环节三：旧避雷器拆卸配电线路在电网中担负着分配电能的任务，是直流输电网与用户供电之间的二次降压网络。带电作业是指在高压电气设备上不停电进行检修、测试的一种作业方法。电气设备在长期运行中需要经常测试、检查和维修。带电作业是避免检修停电，保证正常供电的有效措施。配电线路主要的带电作业项目有更换针式绝缘子、断接引线、更换避雷器、更换横担、更换跌落式熔断器、带负荷加装分段开关、带负荷加装刀闸等。

步骤13：避雷器抓取

步骤14：避雷器拆卸

实验报告：

环节四：新避雷器安装配电线路在电网中担负着分配电能的任务，是直流输电网与用户供电之间的二次降压网络。带电作业是指在高压电气设备上不停电进行检修、测试的一种作业方法。电气设备在长期运行中需要经常测试、检查和维修。带电作业是避免检修停电，保证正常供电的有效措施。配电线路主要的带电作业项目有更换针式绝缘子、断接引线、更换避雷器、更换横担、更换跌落式熔断器、带负荷加装分段开关、带负荷加装刀闸等。

步骤15:自主设计操作步骤，完成新避雷器的安装

实验报告：

2-9实验结果与结论要求

（1）是否记录每步实验结果： 是 否

（2）实验结果与结论要求：实验报告 心得体会 演示视频

（3）其他描述：

本实验采用线上线下相结合的实验教学模式，做到虚实结合，利用虚拟模块帮助学生更好地理解与应用智能机器人的工作方式，增加教学实验的容错性和自主性，学生可于课后自主学习与试验不同功能模块的实现。同时先线上仿真验真方案的安全性与可行性，再于线下实际系统验证的方式，可以有效避免机械臂发生碰撞可能会导致的设备与人身安全事故。

实验的具体结果如下：

（1）机械臂正逆运动学模型建立程序与参数调节；

（2）半结构化环境图像预处理与目标识别程序及参数调节；

（3）机械臂无碰撞路径规划程序及精准度判断；

（4）电力作业流程与双臂协同作业控制程序；

（5）实际系统作业演示视频。

实验的结论要求如下：

（1）详细描述机械臂正逆运动学模型的建立过程；

（2）说明目标识别与测距的算法思想；

（3）阐述多自由度机械臂路径规划的难点与解决思路；

（4）说明机器人调试过程中出现的问题和解决对策；

（5）撰写实验体会与感想。

完成实验的程序编写、实际系统实验视频拍摄和实验报告。

2-10考核要求Comment by Dell: 这一部分文字需要修改按比例：系统认知30%+模块设计30%+综合实验40%

从实验操作、实验数据、实验报告、实验态度等维度考察学生是否按照实验要求进行实验，考核实验目标的达成情况。

（1）实验治学态度（占实验考核成绩20%）

包括：实验集中上机课考勤、试验结束时计算机的维护和实验室的整洁、预习报告、操作时的实验态度、实验报告的完整性、实验课程期间的纪律性等。

（2）理论水平（占实验考核成绩30%）

包括：课程理论学习的应用情况、理论与实践结合情况、实验前抽查口试、思考题解答综合情况等。

（3）实验过程（占实验考核成绩50%）

包括：熟悉实验步骤、正确使用系统、程序编写正确、实验创新性、能够在实际系统安全应用等。

2-11面向学生要求

（1）专业与年级要求

自动化、机器人工程、智能制造等相关专业的本科生、研究生。

（2）基本知识和能力要求Comment by Dell: 要具体描述一下，请郑先杰补充

矩阵分析、高级编程语言等

2-12实验项目应用及共享情况

（1）本校上线时间：2021年2月（依据项目计划的大体时间）

（2）已服务过的本校学生人数：

（3）是否纳入到教学计划： 是 否

(勾选“是”，请附所属课程教学大纲）

（4）是否面向社会提供服务：是 否

（5）社会开放时间：2021年2月，已服务人数: 无

3.实验教学项目相关网络及安全要求描述

3-1有效链接网址

http://mool.njust.edu.cn/search.html?m=e

3-2网络条件要求

（1）说明客户端到服务器的带宽要求（需提供测试带宽服务）

网络带宽20M独享带宽（测速网址：http://www.speedtest.cn）

（2）说明能够支持的同时在线人数（需提供在线排队提示服务）

100Comment by Dell: 人数是估计的吗？

3-3用户操作系统要求（如Windows、Unix、IOS、Android等）

（1）计算机操作系统和版本要求：支持Windows7及以上

（2）其他计算终端操作系统和版本要求：无

（3）支持移动端：是 否

3-4用户非操作系统软件配置要求（如浏览器、特定软件等）

（1）需要特定插件 是 否

（勾选“是”，请填写）

插件名称

插件容量

下载链接

（2）其他计算终端非操作系统软件配置要求（需说明是否可提供相关软件下载服务）

需使用支持WebGL技术的浏览器，推荐Chrome 9+、FireFox 4+、IE 11+、Edge、Safari 10+

3-5用户硬件配置要求（如主频、内存、显存、存储容量等）

（1）计算机硬件配置要求

a）CPU：2GHz

b）内存：4G

c）硬盘空间：50G

d）显卡：1G

e）屏幕：1280*720

（2）其他计算终端硬件配置要求：无

3-6用户特殊外置硬件要求（如可穿戴设备等）

（1）计算机特殊外置硬件要求

无

（2）其他计算终端特殊外置硬件要求

无

3-7 网络安全

（1）项目系统是否完成国家信息安全等级保护 是 否 Comment by Dell: 应该怎么填？

（勾选“是”，请填写） 级

4.实验教学项目技术架构及主要研发技术

指标

内容

系统架构图及简要说明Comment by Dell: 请郑先杰修改完善

智能电力运维机器人虚拟仿真项目的开放运行依托于开放式虚拟仿真实验教学管理平台的支撑，并通过平台提供的面向用户的智能指导、自动批改服务功能，尽可能帮助用户实现自主的实验。

系统采用B/S架构（图1），运行于护粮网或局域网，用户通过浏览器可在任意位置访问后端服务器，提高了实验项目的开放服务能力。

图1 B/S架构

实验教学项目

开发技术

VR AR MR 3D仿真 二维动画HTML5

其他

开发工具

Unity3D 3D Studio Max MayaZBrush SketchUp

Adobe FlashUnreal Development Kit

Animate CCBlender Visual Studio

其他

运行环境

服务器

CPU 六 核、内存 64 GB、磁盘 2048 GB、显存 6 GB、GPU型号 GTX1060

操作系统

Windows Server Linux 其他 具体版本 2016

数据库

Mysql SQL Server Oracle

其他

备注说明 无 （需要其他硬件设备或服务器数量多于1台时请说明）

项目品质（如：单场景模型总面数、贴图分辨率、每帧渲染次数、动作反馈时间、显示刷新率、分辨率等）

显示刷新率：30fps

分辨率：1920*1080

5.实验教学项目特色Comment by Dell: 科研反哺教学素材丰富，数据真实…

（体现虚拟仿真实验教学项目建设的必要性及先进性、教学方式方法、评价体系及对传统教学的延伸与拓展等方面的特色情况介绍。）

（1）实验方案设计思路

智能电力运维机器人虚拟仿真依照配网带电作业机器人项目中的高空更换避雷器作业流程，从机械臂的组成和运动控制方法，到半结构化作业环境的搭建，再到经典的机器人正逆运动学、轨迹规划、碰撞检测等算法的实施，层层递进，使学生完整掌握一般的机械臂作业流程和控制方法。

（2）教学方法创新

本虚拟实验教学方法，开创线上线下教学相结合、以学生为主导的小组合作实验教学新模式，将基于网络的远程教学与翻转课堂的引导式、开放式教学相结合，强烈激发学生的实验兴趣，可极大地提高学生的实验操作的技能领悟能力。

（3）评价体系创新

从学生的实验治学态度、理论水平和实验过程中的表现三个方面，对学生进行全方位的考核，力求评价结果科学合理、公平公正。

（4）对传统教学的延伸与拓展

充分利用虚拟现实中的建模、3D显示、人机交互、WebVR等技术，延续了传统平台中对于知识体系和实践能力的重视，打破了传统教学的时空物理限制，使学生得以随时随地进行仿真实验。

6.实验教学项目持续建设服务计划

（本实验教学项目今后5年继续向高校和社会开放服务计划及预计服务人数）

（1）项目持续建设与服务计划：

本项目依托南京理工大学“多运动体信息感知与协同控制”江苏省重点实验室和“高维信息智能感知与系统”教育部重点实验室两个省部级平台，南京理工大学自动化实验教学中心，计划在今后5年内持续投入建设与更新教学资源，已完成双机械臂运动控制模块、三维环境重构模块、碰撞检测模块、机械臂运动规划模块、实时虚拟3D显示模块等模块的设计。一方面，将项目团队在配网带电作业领域的最新科研成果融入实验教学，进一步丰富教学资源；另一方面，借助平台所记录的大量学生实验数据和评价反馈，对学生的知识掌握情况以及实验效果进行总结，不断改进与完善教学手段。预计面向校内的服务人数为350人/年。

表1 建设计划

执行进度及预期效果

建设内容

效果

双机械臂运动控制模块

远程控制实际机械臂

三维环境重构模块

半结构化环境快速重构

碰撞检测模块

实时检测机械臂避碰状态

机械臂运动规划模块

自主规划可行路径

实时虚拟3D显示模块

显示虚拟机械臂运动及安全状态

（2）面向高校的教学推广应用计划：

本项目从建成日起，3年内面向全国范围内高校进行实验平台开放与教学资源共享，3年至5年内开放内容不少于80%。

（3）面向社会的推广应用计划：

在保证校内教学服务的基础上，本项目从建成日起，1年内面向社会公众开放并接受公众评价与意见反馈。1年至3年内开放内容不少于80%，3年至5年内开放内容不少于60%。

7.知识产权

软件著作权登记情况

软件著作权登记情况

√已登记 未登记

完成软件著作权登记的，需填写以下内容

软件名称

10kV自主式带电作业机器人人机交互系统V1.0

是否与项目名称一致

是 √否（基本一致）

著作权人

南京理工大学

权利范围

全部权利

登记号

SR0064773

8.诚信承诺

本人承诺：所申报的实验教学设计具有原创性，项目所属学校对本实验项目内容（包括但不限于实验软件、操作系统、教学视频、教学课件、辅助参考资料、实验操作手册、实验案例、测验试题、实验报告、答疑、网页宣传图片文字等组成本实验项目的一切资源）享有著作权，保证所申报的项目或其任何一部分均不会侵犯任何第三方的合法权益。

本人已认真填写、检查申报材料，保证内容真实、准确、有效。

实验教学项目负责人（签字）：

年 月 日

9.附件材料清单

1.政治审查意见（必须提供）

（本校党委须对项目团队成员情况进行审查，并对项目内容的政治导向进行把关，确保项目正确的政治方向、价值取向。须由学校党委盖章。无统一格式要求。）

2.校外评价意见（可选提供）

（评价意见作为项目有关学术水平、项目质量、应用效果等某一方面的佐证性材料或补充材料，可由项目应用高校或社会应用机构等出具。评价意见须经相关单位盖章，以1份为宜，不得超过２份。无统一格式要求。）

lr

PZZ

V

lr

PPP

V

l

x

r

x

||

lr

db

dfbxx

=

++-

(,)*((,)/)

gijLfijL

g

=

*

||

lr

bf

d

xx

Þ=

-

111

(,,)

iii

xyz

---

i

1

i

-

1

i

z

-

i

x

i

z

i

y

(,)

fij

i

a

i

a

i

d

i

q

(,)

gij

运动控制系统人机交互系统视觉传感器全景相机力传感器机械臂虚拟仿真轨迹规划实时监控遥操作视觉识别测距全景监控

运动控制系统人机交互系统视觉传感器全景相机力传感器机械臂虚拟仿真轨迹规划实时监控遥操作视觉识别测距全景监控

00

(,)

uv

L

g

1

g

<

1

g

>

=0.5

g

=1.5

g

(0,1)

V

Î

H 色调S 饱和度V 亮度01

H 色调S 饱和度V 亮度01

max(,,)

MAXRGB

=

min(,,)

MINRGB

=

0,

600,

602,

604,

ifMAXMINRGB

GB

ifMAXR

MAXMIN

H

BR

ifMAXG

MAXMIN

RG

ifMAXB

MAXMIN

=Û==

ì

ï

-

æö

ï

°×+=

ç÷

ï

-

èø

ï

=

-

í

æö

°×+=

ç÷

ï

-

èø

ï

ï

-

æö

°×+=

ç÷

ï

-

èø

î

0

H

<°

:360

HH

=+°

0, 00

,

ifMAXRGB

S

MAXMIN

otherwise

MAX

=Û===

ì

ï

=

í

-

ï

î

VMAX

=

255

(H,S,V)

0others

HHSSVV

LHTandLSTandLVT

f

<<<<<<

ì

=

í

î

(H,S,V)

f

HH

LT

、

SS

LT

、

VV

LT

、

左相机光轴右相机光轴左图像右图像基线距Brululvrv(,,)cccPxyz

左相机光轴右相机光轴左图像右图像基线距B

B

P

(,,)

ccc

xyz

(,)

ll

uv

(,)

rr

uv

(,,)

ccc

xByz

-

0

0

0

()

xc

l

c

yc

lr

c

xc

r

c

fx

uu

z

fy

vvv

z

fxB

uu

z

ì

=+

ï

ï

ï

==+

í

ï

ï

-

=+

ï

î

0

00

()

()()

l

c

xlxr

c

yy

x

c

Buu

x

d

BfvvBfvv

y

fdfd

Bf

z

d

ì

-

=

ï

ï

ï

--

==

í

ï

ï

ï

=

î

lr

duu

=-

(,,)

xyz

[1][1]

cT

rccc

xyzxyz

=

T

l

Z

r

Z

f

b

l

P

r

P

l

x

r

x