探索优化的清洁机器人规划系统设计【字数：15893】
摘 要人工智能以及互联网技术蓬勃发展，各式各样的智能设备都走进我们的生活。在这样的大背景下面，一款能够自动避障和更智能、更节电清洁机器人便呼之欲出。为了能够模拟实现清洁机器人自主规划路径，本次项目利用强化学习实验平台Gym模拟出基于离散动作以及基于连续动作的清洁机器人清扫环境。在离散情况下，清洁机器人通过GPS定位自身信息；在连续动作情况下，清洁机器人通过前置摄像头来感知自身所处的局部环境。为了实现算法，对经典的深度策略梯度算法(Deep deterministic policy gradient, DDPG)进行了改进，并应用于两种环境进行实验。实验结果表明所提出的算法能逐渐收敛，从而获得规划的近似最优路径。
目 录
1 引言 1
1.1 课题背景 1
1.2 课题研究的基础、现状与趋势 1
1.3 解决思路以及实验方法 2
2 DDPG原理以及改进 3
2.1 DDPG的原理 3
2.1.1 Policy_Gradient算法 3
2.1.2 确定性策略梯度 4
2.1.3 DDPG算法 4
2.1.4 DDPG算法伪代码 7
2.2 DDPG算法的优化 7
2.2.1 采用卷积神经网络以及超参数的调试 7
2.2.2 DDPG噪声的添加以及修改 9
2.2.3 改进后DDPG算法伪代码 10
3 Gym环境的构建 11
3.1 强化学习平台Gym 11
3.2 环境的动态渲染 11
3.3 环境与算法的交互接口 11
3.4 环境初始化以及重置 11
3.5 环境视野的识别 11
3.6 其他的功能 12
3.7 构建Gym环境的导入 12
4 基于离散动作的清洁机器人系统规划 13
4.1 离散动作动态渲染的实现 13
4.2 环境与算法的交互接口 14
4.3 环境初始化以及重置 14
4.4 其他功能 15
4 *好棒文|www.hbsrm.com +Q: #351916072#
.5 实验结果 15
5 基于连续动作的清洁机器人系统规划 20
5.1 连续动作动态渲染的实现 20
5.2 环境与算法的交互接口 22
5.3 环境视野的识别 24
5.4 环境初始化以及重置 25
5.5 其他功能 25
5.6 实验结果 26
6 总结 31
6.1 问题归纳 31
6.2 问题解决 31
6.3 总结 32
7 模型的缺陷以及展望 33
7.1 模型的缺陷 33
7.2 未来的展望 33
8 工程伦理 34
9 参考文献 35
10 致谢 37
1 引言
1.1 课题背景
我们的生活节奏不断加快，生活中的方方面面越来越便捷，人工智能以及互联网技术蓬勃发展，各式各样的智能设备都已经走进我们的生活。目前市场上面的清洁机器人大多采用一系列的传感器，比如红外线，声呐等等来实现避障，从而进行地毯式的清扫，这样无疑浪费时间，与当今高效、便捷的时代主题大相径庭，因此，一款能够独立自主规划路径、高效、智能的清洁机器人便呼之欲出了。
1.2 课题研究的基础、现状与趋势
1.2.1 课题研究的基础
（1）理论基础：随着人工智能近些年的快速发展，深度神经网络和强化学习相结合，一系列优质算法类似于DDPG、A3C等等，让智能化的清洁机器人的实现有了希望。
（2）技术基础： openAI 公司推出了一款强化学习常用环境平台Gym， 这个平台集成了一些比较经典的环境，比如倒立摆pendulum等等，与此同时Gym自带了rendering渲染环境，这样就可以搭建属于不同的Gym环境。
1.2.2 国内外现状
清洁机器人的硬件设计和避障算一直是自动控制领域内的一个研究热点。杨建峰等人设计了一种多传感融合的避障系统。选用了有效的传感器分析清洁区域从而得出合理高效的避障策略；黄莲花等人利用单片机、传感器、GPRS等多个领域的关键技术,实现广场、公园等公共卫生的全自动清洁；黑龙江八一农垦大学的尧教授等人结合了迂回式路径规划算法以及对障碍物的一些规避算法实现了将清洁机器人运用于牛舍的打扫；郑志恩等教授通过图片的预处理，并用matlab计算工具对环境进行计算来高效的利用清洁机器人；东南大学的陆晓敏等人设计了一款可以依靠车体的风机装置吸附在玻璃上，可以完成路径规划，很好的探测窗户边角距离，能够代替人为的高空作业；广东技术师范学院陈朝大等人采用了超声波传感器配合伺服电机实现了清洁机器人的自动避障系统。所以，目前国内对清洁机器人的研究主要是实现了对障碍物的规避以及特殊区域的清洁。
国外也有不少文献研究清洁机器人的软硬件相关研究。Sumroengrit Jakkrit等人提出了基于amethodoflaster的漂浮垃圾表面检测机器人，通过将工业废物检车装置装在清洁机器人上面，再利用激光测距废物位置，能够定位和识别5米范围内的熟料瓶；韩国专家发明了水下的清洗机器人，实现了清洗不同水箱的功能；斯里兰卡开放大学的H.G.T.Milinda等人使用摄像机图像识别出待清洗的表面的各种污垢，研究出了地板清洁泥和脏污分离法的机器人。国外对于清洁机器人的应用更加的广泛，对于智能化的研究更加的深入。
1.2.3 研究趋势
智慧建筑、智慧家居是不可逆的潮流，我们生活的空间未来必定是智能便捷，智能机器人也是不可或缺的一部分。未来的智能清洁机器人我认为可能会有以下几个特点：第一，可以自己对垃圾有一定的分析，对垃圾进行分类回收。第二，可以实时的清扫垃圾。第三，更加高效的清理速度，更加优秀的清理效果。第四，可以自主规划路径
1.3 解决思路以及实验方法
首先模拟出清洁机器人的gym环境，利用DPPG算法训练这个模型，并且针对这个模型来改进算法使得训练的效果更好。
实验过程如下：
a)先安装好Pycharm,python3环境；
b)利用gym里面的rendering渲染环境，模拟出居室的布局以及随机生成垃圾；
目 录
1 引言 1
1.1 课题背景 1
1.2 课题研究的基础、现状与趋势 1
1.3 解决思路以及实验方法 2
2 DDPG原理以及改进 3
2.1 DDPG的原理 3
2.1.1 Policy_Gradient算法 3
2.1.2 确定性策略梯度 4
2.1.3 DDPG算法 4
2.1.4 DDPG算法伪代码 7
2.2 DDPG算法的优化 7
2.2.1 采用卷积神经网络以及超参数的调试 7
2.2.2 DDPG噪声的添加以及修改 9
2.2.3 改进后DDPG算法伪代码 10
3 Gym环境的构建 11
3.1 强化学习平台Gym 11
3.2 环境的动态渲染 11
3.3 环境与算法的交互接口 11
3.4 环境初始化以及重置 11
3.5 环境视野的识别 11
3.6 其他的功能 12
3.7 构建Gym环境的导入 12
4 基于离散动作的清洁机器人系统规划 13
4.1 离散动作动态渲染的实现 13
4.2 环境与算法的交互接口 14
4.3 环境初始化以及重置 14
4.4 其他功能 15
4 *好棒文|www.hbsrm.com +Q: #351916072#
.5 实验结果 15
5 基于连续动作的清洁机器人系统规划 20
5.1 连续动作动态渲染的实现 20
5.2 环境与算法的交互接口 22
5.3 环境视野的识别 24
5.4 环境初始化以及重置 25
5.5 其他功能 25
5.6 实验结果 26
6 总结 31
6.1 问题归纳 31
6.2 问题解决 31
6.3 总结 32
7 模型的缺陷以及展望 33
7.1 模型的缺陷 33
7.2 未来的展望 33
8 工程伦理 34
9 参考文献 35
10 致谢 37
1 引言
1.1 课题背景
我们的生活节奏不断加快，生活中的方方面面越来越便捷，人工智能以及互联网技术蓬勃发展，各式各样的智能设备都已经走进我们的生活。目前市场上面的清洁机器人大多采用一系列的传感器，比如红外线，声呐等等来实现避障，从而进行地毯式的清扫，这样无疑浪费时间，与当今高效、便捷的时代主题大相径庭，因此，一款能够独立自主规划路径、高效、智能的清洁机器人便呼之欲出了。
1.2 课题研究的基础、现状与趋势
1.2.1 课题研究的基础
（1）理论基础：随着人工智能近些年的快速发展，深度神经网络和强化学习相结合，一系列优质算法类似于DDPG、A3C等等，让智能化的清洁机器人的实现有了希望。
（2）技术基础： openAI 公司推出了一款强化学习常用环境平台Gym， 这个平台集成了一些比较经典的环境，比如倒立摆pendulum等等，与此同时Gym自带了rendering渲染环境，这样就可以搭建属于不同的Gym环境。
1.2.2 国内外现状
清洁机器人的硬件设计和避障算一直是自动控制领域内的一个研究热点。杨建峰等人设计了一种多传感融合的避障系统。选用了有效的传感器分析清洁区域从而得出合理高效的避障策略；黄莲花等人利用单片机、传感器、GPRS等多个领域的关键技术,实现广场、公园等公共卫生的全自动清洁；黑龙江八一农垦大学的尧教授等人结合了迂回式路径规划算法以及对障碍物的一些规避算法实现了将清洁机器人运用于牛舍的打扫；郑志恩等教授通过图片的预处理，并用matlab计算工具对环境进行计算来高效的利用清洁机器人；东南大学的陆晓敏等人设计了一款可以依靠车体的风机装置吸附在玻璃上，可以完成路径规划，很好的探测窗户边角距离，能够代替人为的高空作业；广东技术师范学院陈朝大等人采用了超声波传感器配合伺服电机实现了清洁机器人的自动避障系统。所以，目前国内对清洁机器人的研究主要是实现了对障碍物的规避以及特殊区域的清洁。
国外也有不少文献研究清洁机器人的软硬件相关研究。Sumroengrit Jakkrit等人提出了基于amethodoflaster的漂浮垃圾表面检测机器人，通过将工业废物检车装置装在清洁机器人上面，再利用激光测距废物位置，能够定位和识别5米范围内的熟料瓶；韩国专家发明了水下的清洗机器人，实现了清洗不同水箱的功能；斯里兰卡开放大学的H.G.T.Milinda等人使用摄像机图像识别出待清洗的表面的各种污垢，研究出了地板清洁泥和脏污分离法的机器人。国外对于清洁机器人的应用更加的广泛，对于智能化的研究更加的深入。
1.2.3 研究趋势
智慧建筑、智慧家居是不可逆的潮流，我们生活的空间未来必定是智能便捷，智能机器人也是不可或缺的一部分。未来的智能清洁机器人我认为可能会有以下几个特点：第一，可以自己对垃圾有一定的分析，对垃圾进行分类回收。第二，可以实时的清扫垃圾。第三，更加高效的清理速度，更加优秀的清理效果。第四，可以自主规划路径
1.3 解决思路以及实验方法
首先模拟出清洁机器人的gym环境，利用DPPG算法训练这个模型，并且针对这个模型来改进算法使得训练的效果更好。
实验过程如下：
a)先安装好Pycharm,python3环境；
b)利用gym里面的rendering渲染环境，模拟出居室的布局以及随机生成垃圾；
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/rjgc/572.html
