type
status
date
slug
summary
tags
category
icon
password
URL
Rating
![notion image](https://www.notion.so/image/https%3A%2F%2Fprod-files-secure.s3.us-west-2.amazonaws.com%2F9341931a-53f0-48e1-b026-0f1ad17b457c%2Fbcdcb98f-17a4-4f78-bff4-8073ca940767%2FUntitled.png?table=block&id=f2badfec-96f0-49b0-b5be-2ca6b06d52bd&t=f2badfec-96f0-49b0-b5be-2ca6b06d52bd&width=288&cache=v2)
本文基于小冰的这篇文章:“The Design and Implementation of XiaoIce, an Empathetic Social Chatbot, Li Zhou et al., Microsoft, 2018.12”。
小冰的这篇文章是18年12月份放出来的,没有引起很大反响,可能是因为里面没有过多算法细节吧。但这篇文章我倒是非常看重,它把对话机器人的构建思路和小冰的整体结构都讲的非常清楚。基本按照这个流程就可以自己从0开始构建一个“工业级”对话机器人。
虽然已经有一些博客介绍了这篇文章的内容,不过基本都是按照原文结构在翻译。本文希望结合我之前对对话机器人的了解,重构文章的内容,以期更好理解。
小冰的设计理念是让机器人具备
IQ + EQ + Personality
的能力。IQ
就是智商,指能做很多事,有很多技能。
EQ
是情商,主要指对话答复要考虑到对方的情绪和兴趣,也即常说的“会聊天”。用户难过就要安慰鼓励他,高兴就要陪着高兴。
Personality
是指小冰的答复要符合小冰的人设。小冰的人设是可靠、有同情心、有爱心、有幽默感的18岁少女。所以她说的话不能偏离这个人设。
小冰的优化目标是用户长时间段内的session对话轮次:Conversation-turns Per Session (CPS) 。 优化过程会使用增强学习EE策略,探索已知好的策略的同时,也会去尝试未知效果的策略。
数据统计
2014年5月
发布
- 使用情况
- 至2018年5月:使用历史包含了
300亿
个qr对 - 至2018年7月:
6.6亿
用户
- 小冰已发布了
230
个技能
- 覆盖大概
80
个IoT设备,涉及约300
个场景
- 最长聊天记录
![notion image](https://blog.breezedeus.com/images/xiaoice_stat.png?t=9f72c602-12a5-47b8-a577-fd75e7f83629)
<ins/>
整体框架
小冰的能力包含两大块:核心闲聊(Core Chat) 和各类技能(Skills)。核心闲聊就是一般的闲聊(开域聊天)。而技能是小冰在某些方面的能力,如天气咨询、讲笑话、看图作诗等等。整个系统结构如下图:
![notion image](https://blog.breezedeus.com/images/xiaoice_framework1.png?t=534a7591-42b3-476f-a64b-6d91db7d4328)
上面的图看不出系统整体流程,所以我又重画了一个:
![notion image](https://blog.breezedeus.com/images/xiaoice_framework2.png?t=055a2c8c-de7e-4475-846b-329438c980db)
其中DM是对话管理模块,而IQ则是小冰的各种技能库。DM决定当前query交给IQ中的哪个技能处理,对应的技能产生答复返回给用户。
这个结构和爱因的
DeepBot
架构(见下图)是类似的。都有一个总控(DM vs RouteBot)决定把当前对话分配给哪个(些)技能,技能也都采用了可插拔的设计。![notion image](https://blog.breezedeus.com/images/xiaoice_deepbot.png?t=fe3a14a4-ba4f-40cb-b9a9-033da5313566)
DeepBot架构稍微复杂灵活一些。DeepBot中每次query可以并行由多个技能响应,也可以串行循环被多个技能响应。技能能够更新全局的对话状态,保证对话状态在不同技能之间共用流动。DeepBot流程前面的问题分析模块也会对用户query做更细致的分析。
但小冰的闲聊技能比爱因的闲聊技能(Chitchat-Bot)强大很多。这也是由于小冰和爱因要解决的对话问题截然不同所导致的。
<ins/>
对话管理(Dialogue Manager)
当收到用户的对话信息后,系统会经过一个对话管理的模块,对话管理模块有两个功能:状态追踪模块(Global State Tracker) 更新系统状态
s
,对话策略模块(Dialogue Policy) 依据更新后的对话状态来决定接下来的策略 π(s)
,也即决定这个信息是交由核心闲聊还是某个技能来回答。激活某个功能后,这个功能也会有自己的对话策略或者流程,来最终决定返回什么信息作为回复。这是典型的对话管理模块的结构,常在任务型对话机器人中被使用和强调。
![notion image](https://blog.breezedeus.com/images/xiaoice_dm.png?t=90c99162-47b6-4aa9-85dc-694acb3dd208)
对话状态追踪
对话状态
s
由四部分组成: ,其中 表示对话背景, 是利用 对用户当前用户query 进行改写后的版本。而 存储了用户相关的各种信息,如当前情绪、对话题的观点(兴趣读)、长期的兴趣爱好、个人资料等。 和 有类似的结构,只是存储的是小冰的信息。作者把计算 的过程,称为同理心计算(Empathetic Computing)。同理心计算包含三个步骤:带背景query理解、用户理解和系统理解,分别对应 、、 的产生过程。
带背景query理解(Contextual Query Understanding (CQU))
CQU利用背景信息 对用户当前消息 进行改写,得到 。改写的步骤包括:
- 实体链接:识别出 中的实体,并与之前的状态中存储的实体进行链接(就是对上号)。
- 指代消解:把 中所有代词替换为它们指代的实体。
- 句子补全:如果 不是一个完整的句子,就使用 对它进行补全。
下图是论文中给出的一个示例:
![notion image](https://blog.breezedeus.com/images/xiaoice_case.png?t=fee5cc79-0374-470a-be83-ab71644002b2)
用户理解(User Understanding (UU))
UU 基于 和 产生 。 是有一系列 kv 对组成的,其中包括:
- 话题记录了用户当前对话的话题。
- 意图存储的是用户当前对话的动作,如
greet
,request
,inform
等。就是任务型对话NLU中的动作(act)。
- 情感记录了用户当前的情绪,如
高兴
,伤心
,生气
,中立
等。
- 观点存储了用户对当前话题的观点,如
正向
,负向
,中立
。
- 如果用户可辨认,可以获取到他的个人资料,如年龄,性别,兴趣,职业等。
下图是论文中给出的一个示例(对应CQU中的示例):
![notion image](https://blog.breezedeus.com/images/xiaoice_case2.png?t=7b8100c5-e399-49bc-8295-f24765d71fd2)
系统理解(System Understanding (SU))
SU 就是为了产生 向量。(原文中不叫这个名字,而是 Interpersonal Response Generation。)
UU完成后,SU就比较简单。有些和UU相同的信息直接从UU拷过来即可,如话题。有些基于小冰的人设,就可以知道,如情感和观点永远是正向的,个人资料也都是设定好固定不变的。
下图是论文中给出的示例(对应CQU和UU中的示例):
![notion image](https://blog.breezedeus.com/images/xiaoice_case3.png?t=1e6de681-5018-400e-b3e1-2d467720f34c)
对话策略
对话策略模块(Dialogue Policy) 依据更新后的对话状态来决定接下来的策略
π(s)
,也即决定这个信息是交由哪个功能处理,是核心闲聊还是某个技能。激活某个功能后,这个功能也会有自己的对话策略或者流程,来最终决定返回什么信息作为回复。作者称这个决策过程为分层决策(Hierarchical Dialogue Policy)。优化过程会使用RL模型和EE策略,探索已知好的策略的同时,也会去尝试未知效果的策略。
本文没提具体细节,但作者之前的一些工作专门在说这个事。除了RL,当然也可以用其他更简单的方法,如启发式规则,单轮分类,或者多轮分类等。
<ins/>
核心闲聊(Core Chat)
核心闲聊(Core Chat)面向开域对话,它还会分为两类:通用闲聊(General Chat)和领域闲聊(Domain Chat)。通用闲聊主要回答一般性的信息,而领域闲聊主要是回答某些带主题的闲聊,例如”你喜欢王菲的歌么“、”全聚德的烤鸭味道怎么样“。
![notion image](https://blog.breezedeus.com/images/xiaoice_corechat.png?t=a110a9f1-67ad-4d0a-b21b-66fc53b132de)
话题管理(Topic Manager)
核心闲聊中有一个重要的模块,叫话题管理模块(Topic Manager) 。话题管理模块包含一个分类模型,来决定小冰是继续当前话题聊下去,还是开启一个新话题。
什么时候该开启新话题?比如小冰发现她没法产生一个有意思的回复信息,或者用户对当前对话感觉无聊了:
- 核心闲聊使用了设定好的处理异常情况的编辑回复。
- 产生的回复信息只是简单重复用户的输入,或者没包含什么新信息量。
- 用户开始给出灌水性的回复,如“嗯”,“哦”,“呵呵”,“知道了”等。
如果要开启一个新话题,系统会从话题库中找出一个新话题。话题库是利用一些高质量的论坛(如Instagram和豆瓣)爬取的数据构建起来的。
选择新话题的流程是典型的
检索 + 排序
过程。检索使用当前的对话状态 s
,排序使用了boosted tree模型,主要基于以下类型特征:- 与背景信息的相关性:新话题要与对话背景相关,且还没被使用过。
- 新鲜度:新话题要够新鲜,在当前时间点讨论要比较合适。
- 用户感兴趣:用户要对新话题感兴趣。
- 流行度:网上或者小冰用户中热议的话题。
- 接受度:从历史数据上可以知道小冰用户对此话题的接受度。
利用话题管理模块,对话就可以在通用闲聊和领域闲聊之间切换。通用闲聊和领域闲聊使用了相同的框架,只是数据不同。所以论文中以通用闲聊为例做了具体介绍。
通用闲聊(General Chat)
通用闲聊的整体流程也是
检索 + 排序
,流程图如下:![notion image](https://blog.breezedeus.com/images/xiaoice_gchat.png?t=0b224ad5-bd15-425e-a97c-67a183f85ad5)
检索主要是产生response候选集,这些候选集再由排序模块进行排序。小冰有三种候选集产生方式,下面分别介绍。
检索
1. Paired-Data based Retriever (PDR)
系统收集了很多 query-response 对,此检索器就是从这些qr对中检索出最相关的一些候选。这些qr对来自两个方面:1) 从网上各种平台(社交网络、论坛、公告栏、新闻评论等)爬取的数据;2) 从小冰的使用日志中挖掘。时至今日,小冰
70%
的回复是从她的聊天历史中获得的。获得的qr对首先用同理心计算模块转化成 的形式。然后基于小冰的人设和其他规则过滤掉不合适结果。剩下的qr对就作为知识存入 Lucene 供线上使用。
线上使用时, 作为检索输入,然后利用关键词搜索和语义搜索从候选库中检索出
400
个最相关的qr对。PDR产生的response效果很好,但覆盖面比较小。
2. Neural Response Generator (NRG)
NRG使用了标准的GRU-RNN seq2seq框架,训练数据就是上面收集到的qr对。输入上除了使用 外,还会使用到 和 。先使用以下方式把 和 合并为 :
然后把 注入到解码器的每个时间点。模型结构如下图。
![notion image](https://blog.breezedeus.com/images/xiaoice_nrg.png?t=5eb66e44-164e-4958-836d-4c3db9915bb1)
NRG使用 beam search 产生
20
个候选response。NRG产生的response覆盖面广,但效果较差,生成的response一般会比较短。
3. Unpaired-Data based Retriever (UDR)
除了PDR中从网上爬取的qr对信息,网上有更庞大的unpaired数据。作者从网上的公开演讲和新闻报道的引用(双引号扩起来的那种)中搜集unpaired句子。所以这些句子是谁说的我们是知道的,这样就可以计算 。
然后基于小冰的人设和其他规则过滤掉不合适结果。剩下的数据存入Lucene供线上使用。
和PDR不同的是,UDR中只有候选response数据,而没有对应的候选query数据。所以线上使用光靠用户query 是无法确定哪些候选response更合适的。q 跟 r 之间需要一个桥梁。作者的解决方案是引入知识图谱(KG)来搭起这座桥。
微软自己有个很大的KG叫Satori,用于对话只需要其中的一部分就好。作者使用PDR中搜集的qr对数据集来进行筛选。如果Satori中的一个三元组
head-relation-tail
中的 和 分别在qr对中 q()和 r()出现的次数超过指定的阈值,才保留这个三元组。所谓 在 q 中出现,是指 q 中包含了 这个话题。 例如下图是保留KG的一个片段。![notion image](https://blog.breezedeus.com/images/xiaoice_kg.png?t=883c9f9d-8dec-4283-92f4-b87ce7378433)
线上使用时,小冰会利用前面构建的KG对用户的query 进行话题扩展,具体步骤如下(以query “Tell me about Beijing”为例):
- 识别出 中包含的所有话题。本句query中只有“Beijing”一个话题。
- 对于每个话题,从KG中检索出
20
个最相关的话题。如 “Badaling Great Wall” 和 “Beijing snacks”。最相关是利用 boosted tree 模型排序得到的,模型的训练数据是人为标注的。
- query中的所有topic和上一步检索出的相关topic一起作为检索输入,从收集的unpaired数据集中检索出
400
个最相关的句子作为候选response。例如:“Beijing’s Badaling Great Wall is best known in the Ming Great Wall, and it can be overlooked from Guanritai.” 和 “When you come to Beijing, you must try authentic Beijing snacks. There are always a few that you like.”。
UDR的候选质量没有PDR好,但加入UDR后话题覆盖面要广很多。UDR的结果也比NRG生成的结果包含更多文字。
排序
PDR、NRG和UDR生成的所有候选response,利用 boosted tree 模型统一进行排序。最终的response是从那些排序分值高于设定阈值的responses中随机选出来的。这样可以保证小冰的结果不会一成不变,更有“人性”。
给定状态 ,模型基于以下几类特征为每个 计算一个排序分数:
- 局部凝聚力(Local Cohesion) 特征: 要与 语义一致。 与 之间的局部凝聚力分数通过语义匹配模型DSSM计算得到。DSSM的训练数据来自历史对话qr对。
- 全局凝聚力(Global Cohesion) 特征: 要与 、 语义一致。 与 之间的全局凝聚力分数通过另一个语义匹配模型DSSM计算得到。DSSM的训练数据来自历史对话session。
- 同理心匹配(Empathy Matching) 特征:好的 应当符合小冰的人设。可以把 当作query, 作为背景,通过同理心计算模块中的 CQU 和 UU 计算得到 。然后再把 和我们期望得到的 进行比较,获得各种比较分数作为特征。
- 检索匹配(Retrieval Matching) 特征:这类特征仅用在 PDR 产生的候选response上。记与候选response 对应的q为 。可以利用各种方法计算 与 的匹配分数,如 BM25、Tf-Idf、或者各种意义匹配方法如DSSM等。
排序模型的训练数据是 对集合。为每个 标注一个
0~2
的分数值。0
表示 不相关;1
表示还行,可接受;2
表示很合适。<ins/>
编辑回复(Editorial Response)
编辑回复即所谓的异常时兜底回复,或者默认回复。当前面的机制没法产生回复时,编辑回复就会作为最终回复返回给用户。小冰的编辑回复期望能让对话继续下去,所以通常不会用“I don’t know”这种话术,而会更倾向于类似“Hmmm, difficult to say. What do you think?”这种。
对话技能(Skills)
技能又分为这几类:
图片评论(Image Commenting)
,内容创建(Content Creation)
,互动(Deep Engagement)
和 任务完成(Task Completion)
。 到目前为止,小冰已发布了 230
个技能,基本一周发布一个新技能的节奏。多个技能如果同时被触发,则会有个排序过程,最终把query分给分数最高的技能。排序会用到设定好的技能优先级,技能confidence和session context。
图片评论(Image Commenting)
图片评论指的是用户发了一张图,然后小冰看图回话。整体架构类似通用闲聊,先用检索和生成的方式产生候选response,然后再对候选结果做排序。
图片评论和一般的图片描述略有不同,它需要让结果文字更适合对话场景。从论文中给出的下图可以看成差异。所以它不仅会使用图片中识别出的对象,还会使用图片中展示出的事件、动作、情绪(如竞技、赢)。
![notion image](https://blog.breezedeus.com/images/xiaoice_imagecomment.png?t=9ea9e6fe-9a82-4291-8c0e-68528ea298e9)
Retrieved-based Retriever (RR)
RR 首先从社交网站上收集(图片,评论)对。然后线上一张新图片来了以后,首先把它向量化(CNN等各种模型都行),然后从库中检索出
3
张与之最相似的候选图片,它们对应评论就是候选评论了。Generator-based Retriever (GR)
GR 基本就是image-to-text的结构,只是会融入对生成结果的情感和形式要求。
Ranker
排序还是用的 boosted tree 模型。和通用闲聊里排序一样,给定状态 ,模型为每个 计算一个排序分数。这里的 是图片的向量表达。模型使用的特征也类似。
内容创建(Content Creation)
小冰可以和用户一起做一些创造性的事,比如看图写诗、FM频道创建、电子书生成、儿童故事生成等。用户设定好创建条件,由小冰完成创建。
下图是论文中给出的看图写诗流程:
![notion image](https://blog.breezedeus.com/images/xiaoice_contentcreation.png?t=cbe515ab-2630-400e-b1e8-9ae5f33b5308)
据说小冰已经出了两本诗集。
互动(Deep Engagement)
互动技能主要指小冰和用户一起做情绪或者智力方面的互动。按照一对一、多人互动,和EQ、IQ互动两个方向,可以把各种互动技能放在四个象限,如下:
![notion image](https://blog.breezedeus.com/images/xiaoice_deepengagement.png?t=80c46813-1470-4ab8-a0dc-602956468d64)
任务完成(Task Completion)
任务机器人应该用的还是 Frame-based 的经典框架。这块就不再多说,值得提的是,小冰会依据用户画像给出个性化的答复。例如一个美国人问中国面积多大时,答复里的面积单位是平方英里,而中国人问答复里的面积单位是平方公里。
![notion image](https://blog.breezedeus.com/images/xiaoice_task.png?t=031e17a3-5e9b-49ec-b381-0d794d771909)
在答复里小冰也会尝试把对话做些延伸。比如调完灯的亮度后,再问一句亮度是否满意;回答完天气后推荐一些用户感兴趣的户外去处。
总结
这篇文章详细介绍了小冰对话机器人的构建思路和整体结构。按照对应流程完全可以从0开始构建一个“工业级”对话机器人。虽然整体框架和爱因的DeepBot相似,但因为解决的目标问题不同而各有取舍。
总结几点我认为比较重要的信息:
- 对话状态使用了这样的结构:。使用同理心计算模块计算对话状态。
- 使用话题管理模块决定什么时候该切换到新话题,以及切换到哪个新话题。
- 从互联网公开演讲和新闻报道的引用中搜集unpaird data,作为paired data的补充。
- 任务机器人依据用户画像给出个性化的答复。
- 看References,有更详细的资料。
<ins/>
- 作者:Breezedeus
- 链接:https://www.breezedeus.com/article/chatbot-xiaoice
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章