多模态人机交互中的说话人意图识别研究开题报告

本科毕业设计〔论文〕开题报告

学院 计算机学院 专业 智能科学与技术 班级 班内序号 5 教授 学生姓名 学号 所在单位 指导教师姓名 设计〔论文〕题目 1.背景和意义 北京邮电大学 职称 多模态人机交互中的说话人意图识别研究 随着计算机、互联网的快速开展，认知效劳类机器人不再局限于机器人中，变 成一种增值效劳产品，逐渐走入人们的生活，尤其在移动互联网方面得到很大的应 用，简单的有识别语音指令控制软件，复杂的产品有苹果公司的 效劳机器人新的应用方式。 随着生活水平的提高，人们对人机交互的需求不再仅仅局限于单一模态的信息 交互〔文本、语音、网页等常见的信息交互方式〕，单一模态的表达能力是有限的， 并且不符合人们现实中自然的交互方式，所以人们希望机器人能够处理并理解多模 态的信息。因此，多模态的对话模型是人机交互、对话系统的开展趋势。 在认知效劳类机器人系统构建中，意图识别模块是至关重要的一局部。在人机 交互中，语音模态是主要的模态，但要准确理解用户意图，不仅仅需要通过语音模 态获取要表达的信息，许多时候还需要借助其他模态如视觉，来得到对话者深层的 含义，多模态的信息能够帮助构建完整的交互过程，针对语言模态的意图识别而言， 其他模态的信息的主要作用在于 “指代削取〞，在人们自然对话过程中，人们不自觉 的使用“这〞、“那〞来代表当前场景中所看到的信息，从视觉模态获取的背景信息， 能帮助解决这类问题，从而更准确理解用户意图，所以其他模态对于语言模态的意 图识别具有补充作用，当前判断意图识别是否需要引入场景信息逐渐成为热点。 本课题主要实现一个针对语言模态的意图识别模块，并判断是否需要引入视觉 模态信息，在设计中尽量选用拓展性高的方法，从而提高应用性。 2. Siri，这些是认知 研究的根本内容和拟解决的主要问题 在认知效劳类机器人中，人机交互很多情况下要涉及到场景对话，综合利用对 话语言和场景信息是人机交互的重要内容，怎样在适宜的时机引入场景信息需要对 用户的意图进行分析。本研究目的在于分析对话过程中的说话人言语，以识别在人 机对话中说话人是否存在与场景相关的特定意图， 并且提取说话人对话的关键信息， 为后续参加场景信息的人机交互提供支持。 具体任务如下： 1、 设计分类器。该分类器能够将说话人的言语进行粗分类，确定该话语是否与场 景相关；并且能进行细分类，识别对话的意图，具体到与场景相关的哪方面信息； 2、 对话信息提取。识别了用户意图之后，针对不同的意图需要提取对话中的关键 信息，例如“这个杯子是蓝色的〞，就需要得到其意图是“teach ing〞，目标物体 是“杯子〞，物体属性是“颜色〞，颜色值是“蓝色〞。 3、 分布式实现。以上功能完成后，需要以一种效劳的形式提供应用户，可以采用 分布式系统框架〔ICE等〕实现。 3. 研究方法及措施 本课题研究在多模态对话过程中，语言模态的认知理解过程，需要对人机对话 过程中，对话人意图进行分析。首先，为保证系统的可行性、实用性，需要收集多 模态情景下的对话样例，分析出对话中的句子特征以及明确意图种类。其次，为设 计成更具拓展性的分类系统，本课题将在两个方向进行探索，一方面，在语义和句 法特征的选取方面探索对话语言本身的拓展性，另一方面采用机器学习的方法保证 拓展性，针对意图分类的特征选取适合的分类器。 然后更具多模态对话管理的具体 需求，在已经分出句子类别的前提下，提取所需的关键信息。最后，在工程可行性 方面，主题局部采用Python完成，在与其他系统兼容模块采用 C++编写，各局部采 用ICE模块组合，ICE是一个非常成熟的分布式消息中间件，并且他是跨平台、跨 语言的中间件，对工程的可行性及应用性都有很大提高。 4. 研究工作的步骤与进度 2021年1月至2月一一撰写开题报告，明确任务，进行论文阅读工作，翻译论文； 2021年2月至3月一一设计分类器，实现意图识别功能； 2021年4月至5月一一对话内容信息提取，分布式实现； 2021年5月至6月一一撰写毕业论文，准备辩论。 5. 主要参考文献等工程 [1]范云杰、刘怀亮，基于维基百科的中文短文本分类研究，现代图书情报技术，