科大讯飞实力领先 SQuAD 2.0比赛指标均超人类平均水平

2019-03-27 01:39 华夏晚报网

打印 放大 缩小

来源标题:科大讯飞实力领先 SQuAD 2.0比赛指标均超人类平均水平

3月20日,哈工大讯飞联合实验室(Joint Laboratory of HIT and iFLYTEK Research, HFL)携手河北省讯飞人工智能研究院联合团队参加了由斯坦福大学发起的国际权威机器阅读理解评测SQuAD 2.0(Stanford Question Answering Dataset),双方击败众多国内外知名研究机构和高校,如谷歌、微软亚洲研究院、IBM研究院、阿里巴巴达摩院、平安科技、上海交通大学、复旦大学等,成功登顶排行榜首。

SQuAD 2.0成绩榜单(截至2019年3月27日)

据悉,哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划重点引进并布局的核心研发团队之一,由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)共同创办。该团队成立至今已经斩获了SQuAD、SemEval 2018、CoQA等多项国际比赛荣誉。

比起往年,此次SQuAD 2.0评测在基于篇章片段抽取的阅读理解任务基础上(即SQuAD 1.1评测),进一步提高了难度,对机器阅读理解模型提出了新的挑战。不同于前几次竞赛,此次评测的主要区别在于加入了“不可回答的问题”,也就是通过阅读篇章无法找到答案的问题,如果可以回答,就给出篇章中某个连续片段作为答案;如果无法回答,则要拒绝回答该问题。

行业内,机器人阅读理解是 NLP 领域里公认的难题,在未来也将是非常重要的发展趋势。作为全球范围内较早启动机器阅读理解技术研究的团队,哈工大讯飞联合实验室阅读理解团队(HFL-RC)在此之前已经多次荣登SQuAD榜首。此次提交的“BERT + DAE + AoA”模型,将该评测的相关技术指标推向新的高度,其中EM指标(精准匹配率)以及F1指标(模糊匹配率)均超过人类平均水平,创下该评测的新纪录,再次展现了科大讯飞在机器阅读理解领域的核心技术国际领先地位。

实际上,机器人阅读理解技术已经在汽车、司法领域有所应用。比如车载电子说明书产品,通过机器阅读汽车领域相关的材料,使机器深度理解并掌握对该车型的相关知识。用户提出相关问题之后,车载电子说明书不仅能够快速回答,反馈相关内容,还能够利用阅读理解技术进一步探究更为精准的答案,并将其反馈于用户。

此外,在司法领域,哈工大讯飞联合实验室研发的“法小飞”智能法律咨询助手,也应用了该项技术,为用户提供更精准答案的同时,还升级了与用户对话的交互体验。

此前的媒体报道中,官方也曾多次表态,科大讯飞仍在积极探索其他类型的阅读理解技术,如基于知识或常识的阅读理解、对话型阅读理解,以及基于综合线索的阅读理解等。如今的荣誉,对科大讯飞来说并不代表着结束,或许一切才刚刚开始。对于机器阅读理解来说,对自然语言有更深层次的理解和思考,是未来研究的核心方向,并且远远不会终结。未来,科大讯飞也会继续努力探索,将阅读理解技术应用到各类领域,造福于全人类。

责任编辑:岳崎(QN0012)