图像问答算法的聊天机器人软件的设计与实现(附件)
聊天机器人是近年来比较火热的研究领域之一。现有的聊天机器人大部分只能对文字相关的问题才能做出回复，但是对于图像相关的问题就无能为力了。所以本文实现了一个图像问答算法，并且设计并实现了一个聊天机器人app软件。该图像问答算法主要包括问题处理、图像处理和答案生成三个部分。卷积神经网络用来提取图像特征，将问题转换成词向量，然后将问题的词向量和图像特征同时作为长短期记忆网络的输入，输出即为答案。该图像问答算法适用于一些简单的问题，例如”What is ” “How many” 进行回答。算法在数据集VQA (v1)下的准确率达到了52.84%。基于图像问答算法和图灵机器人的Web接口，本文设计并实现了一个聊天机器人软件。该聊天机器人拥有服务端和安卓客户端两个部分。其中服务端利用Python的Web.py框架实现。该聊天机器人实现了图像问答、闲聊、开放领域问答、查询天气、讲笑话、讲故事等功能。
目录
摘要 1
关键词 1
Abstract 1
Key words 2
1绪论 2
1.1研究背景及意义 2
1.2问答系统研究综述 2
1.2.1聊天机器人软件 3
1.2.2问答系统国内外研究现状 3
1.2.3图像问答综述 4
1.3存在的主要问题 5
1.4研究内容 5
1.5技术路线 5
1.6论文组织结构 6
2相关理论知识 6
2.1问答系统 6
2.1.1问答系统的一般处理流程 7
2.1.2问答系统研究的基本问题 7
2.1.3问答系统的主要方法 7
2.2智能聊天机器人 8
2.2.1基于检索的聊天机器人 9
2.2.2基于生成对话的聊天机器人的结构 9
2.3图像问答 9
2.3.1图像问答算法框架 10
2.3.2卷积神经网络 10
2.3.3长短期记忆网络 11
3基于Keras的图像问答算法Python实现 13
3.1本文图像问答算法框架 13
*好棒文|www.hbsrm.com +Q: ^351916072^
3.2数据集 13
3.3数据集预处理 14
3.4Keras框架搭建 15
3.4.1Keras简介 15
3.4.2Keras平台搭建 15
3.4.3Keras使用示例 15
3.5图像问答算法实现 16
3.5.1图像特征提取 16
3.5.2Embedding层 16
3.5.3模型的建立 17
3.6图像问答算法模型的应用 18
3.7算法测试 19
4聊天机器人的设计与实现 20
4.1整体功能设计 20
4.2服务端设计与实现 20
4.2.1开发环境 20
4.2.2服务端功能设计 20
4.2.3web.py简介及安装 21
4.2.4图灵机器人api简介及使用 21
4.2.5服务器端功能实现 22
4.3客户端设计与实现 23
4.3.1开发环境 23
4.3.2客户端功能设计 23
4.3.3客户端主要类图 23
4.3.4用例图 24
4.3.4客户端顺序图 24
4.3.5界面设计 25
4.3.6关键功能实现 26
4.4测试 29
4.4.1界面测试 29
4.3.2图片功能测试 30
4.3.3常用语发送测试 31
4.3.4聊天功能测试 32
5总结与展望 34
致谢 35
参考文献 36
基于图像问答算法的聊天机器人软件的设计与实现
引言
1绪论
1.1研究背景及意义
1995年来，互联网开始快速发展，其中包含的信息呈爆炸式地增长，2016年仅仅中国的网页数量超过了2360亿个，而2010年中国仅有200亿个。因此，如何管理这些网站大量的数据，使用搜索引擎帮助人们更好地找寻目标信息，一直是信息检索领域的研究热门。经过长期的学习和探索，学者们在信息检索领域积累了大量的研究成果，而工业界对于如何把这些研究成果和产业相结合也取得了很多成功的经验。但是，用户在搜索引擎上搜索结果时，搜索引擎会返回给用户一个链接列表。但是，面对那么多的结果链接列表，用户大部分时候会感到纠结或者困惑。为了解决上述信息过载的问题，问答系统也就应运而生。问答系统是指一个能回答任意自然语言形式问题的自动机[17]。问答系统分为两类：开放领域的问答系统和特定领域的问答系统[1]。开放领域问答系统是指对问题没有特别的限定[18]，问题可以是任意种类的，涉及到生活任意方面的；特定领域的问答系统是指处理某一特定领域中的问题，例如与农业相关的问题或者与音乐相关的问题等等。
图 1微软小冰无法处理图片
但是现有的问答系统基本都是针对文本内容的问答系统，针对图像的却少之又少。我们接收信息的来源除了文字，大部分是来源于图像或者视频的，所以实现图像问答系统是势在必行的。如图 1，微软的小冰机器人无法理解我发的这幅图像。但是，如果一个聊天机器人不能处理图像的话感觉图像问答系统对于图像检索，对话系统都具有十分重要的意义。它可以丰富对话系统的内容，也可以使得图像检索的结果更加地准确。
1.2问答系统研究综述
问答系统的雏形在1960年左右就生成了，但是国外的学者希望计算机能处理自然语言的问题。1980年，问答系统受到广泛地关注。根据图灵测试，人们认为如果计算机能够利用人类的自然语言来和人类交流，那么就可以认为是智能的。从此，大量学者们投身到自然语言问答系统和聊天机器人的研究中来。
目录
摘要 1
关键词 1
Abstract 1
Key words 2
1绪论 2
1.1研究背景及意义 2
1.2问答系统研究综述 2
1.2.1聊天机器人软件 3
1.2.2问答系统国内外研究现状 3
1.2.3图像问答综述 4
1.3存在的主要问题 5
1.4研究内容 5
1.5技术路线 5
1.6论文组织结构 6
2相关理论知识 6
2.1问答系统 6
2.1.1问答系统的一般处理流程 7
2.1.2问答系统研究的基本问题 7
2.1.3问答系统的主要方法 7
2.2智能聊天机器人 8
2.2.1基于检索的聊天机器人 9
2.2.2基于生成对话的聊天机器人的结构 9
2.3图像问答 9
2.3.1图像问答算法框架 10
2.3.2卷积神经网络 10
2.3.3长短期记忆网络 11
3基于Keras的图像问答算法Python实现 13
3.1本文图像问答算法框架 13
*好棒文|www.hbsrm.com +Q: ^351916072^
3.2数据集 13
3.3数据集预处理 14
3.4Keras框架搭建 15
3.4.1Keras简介 15
3.4.2Keras平台搭建 15
3.4.3Keras使用示例 15
3.5图像问答算法实现 16
3.5.1图像特征提取 16
3.5.2Embedding层 16
3.5.3模型的建立 17
3.6图像问答算法模型的应用 18
3.7算法测试 19
4聊天机器人的设计与实现 20
4.1整体功能设计 20
4.2服务端设计与实现 20
4.2.1开发环境 20
4.2.2服务端功能设计 20
4.2.3web.py简介及安装 21
4.2.4图灵机器人api简介及使用 21
4.2.5服务器端功能实现 22
4.3客户端设计与实现 23
4.3.1开发环境 23
4.3.2客户端功能设计 23
4.3.3客户端主要类图 23
4.3.4用例图 24
4.3.4客户端顺序图 24
4.3.5界面设计 25
4.3.6关键功能实现 26
4.4测试 29
4.4.1界面测试 29
4.3.2图片功能测试 30
4.3.3常用语发送测试 31
4.3.4聊天功能测试 32
5总结与展望 34
致谢 35
参考文献 36
基于图像问答算法的聊天机器人软件的设计与实现
引言
1绪论
1.1研究背景及意义
1995年来，互联网开始快速发展，其中包含的信息呈爆炸式地增长，2016年仅仅中国的网页数量超过了2360亿个，而2010年中国仅有200亿个。因此，如何管理这些网站大量的数据，使用搜索引擎帮助人们更好地找寻目标信息，一直是信息检索领域的研究热门。经过长期的学习和探索，学者们在信息检索领域积累了大量的研究成果，而工业界对于如何把这些研究成果和产业相结合也取得了很多成功的经验。但是，用户在搜索引擎上搜索结果时，搜索引擎会返回给用户一个链接列表。但是，面对那么多的结果链接列表，用户大部分时候会感到纠结或者困惑。为了解决上述信息过载的问题，问答系统也就应运而生。问答系统是指一个能回答任意自然语言形式问题的自动机[17]。问答系统分为两类：开放领域的问答系统和特定领域的问答系统[1]。开放领域问答系统是指对问题没有特别的限定[18]，问题可以是任意种类的，涉及到生活任意方面的；特定领域的问答系统是指处理某一特定领域中的问题，例如与农业相关的问题或者与音乐相关的问题等等。
图 1微软小冰无法处理图片
但是现有的问答系统基本都是针对文本内容的问答系统，针对图像的却少之又少。我们接收信息的来源除了文字，大部分是来源于图像或者视频的，所以实现图像问答系统是势在必行的。如图 1，微软的小冰机器人无法理解我发的这幅图像。但是，如果一个聊天机器人不能处理图像的话感觉图像问答系统对于图像检索，对话系统都具有十分重要的意义。它可以丰富对话系统的内容，也可以使得图像检索的结果更加地准确。
1.2问答系统研究综述
问答系统的雏形在1960年左右就生成了，但是国外的学者希望计算机能处理自然语言的问题。1980年，问答系统受到广泛地关注。根据图灵测试，人们认为如果计算机能够利用人类的自然语言来和人类交流，那么就可以认为是智能的。从此，大量学者们投身到自然语言问答系统和聊天机器人的研究中来。
版权保护: 本文由 hbsrm.com编辑，转载请保留链接: www.hbsrm.com/jsj/wljs/450.html
