历经3个月的激烈角逐,2021语言与智能技术竞赛于近日发布了竞赛结果的榜单。本次竞赛由中国计算机学会(CCF)和中国中文信息学会(CIPS)联合主办,百度公司、中国计算机学会自然语言处理专委会和中国中文信息学会评测工作委员会共同承办。比赛将在第六届“语言与智能高峰论坛”上举办技术交流和颁奖,获胜团队将分享总计30万元人民币的奖金。届时,论坛还将邀请国内外学术界、工业界知名专家学者,面向社会公众介绍语言与智能及相关领域的发展趋势和创新成果。
2018年至今,该竞赛已经成功举办了三届。今年竞赛设立了来源于真实应用需求的三大任务——机器阅读理解、多技能对话、多形态信息抽取,采用的数据集均来源于中文开源数据集项目“千言”。同时,在竞赛结束后,“千言”将持续提供本次竞赛的数据集下载和常规评测,支持自然语言处理领域的研究者、开发者的日常技术研发工作。
三千余支队伍激烈角逐超往年 覆盖广泛竞技水平高
据统计,本届竞赛三大任务赛题共有超过4300人次、3500支队伍报名参加,累计收到有效提交结果1万多次。
本届竞赛的三大赛题——机器阅读理解、多技能对话、多形态信息抽取较往年赛题在难度上全面升级,覆盖了更多的数据集和更加丰富的评测维度,对模型的鲁棒性和泛化性等提出了更高的挑战。尽管难度提升,根据比赛报名及提交情况来看,单任务参赛及提交队伍较往届数量反而提升、参赛热情不减。
从参赛队伍分布看,比赛延续了参赛队伍一贯的多元化特点,大部分985、211高校均有参与,包括清华大学、北京大学、复旦大学、中国人民大学等知名高校,还有慕尼黑工业大学、南洋理工大学、早稻田大学、爱丁堡大学等国际学府。除了国内外多所高校、科研机构等的积极参与之外,本届比赛中企业参赛队伍达到五百多支,体现了产业界对于前沿NLP中文任务的关注和重视。参赛企业覆盖了互联网、AI、通讯、金融、能源、航空航天等多个领域,包含腾讯、华为、阿里、网易、头条、中国移动、平安等知名企业。
从提交结果来看,本届竞赛也在三大赛题的得分上取得了新突破。如机器阅读理解任务F1最高得分为69.41,较基线提升22.87%;多技能对话系统总得分从基线0.60提升到最好成绩的1.17;多形态信息抽取任务综合最高得分为79.481,较基线提升19.12%。其中,企业队伍也展现了不俗的竞赛实力,在三大赛题榜单上成绩亮眼。
近日,2021语言与智能技术竞赛已于官网公布获奖榜单。未来将在第六届“语言与智能高峰论坛”上举办颁奖仪式,届时获奖队伍也会进行技术交流报告,对优秀技术方案进行解读。
机器阅读理解任务榜单
多技能对话任务榜单
多形态信息抽取任务榜单
从真实应用需求出发 三大赛题携手千言实现“反哺”式创新
理解和运用自然语言是人工智能的核心问题之一,语言智能的发展将推动人工智能技术加快落地。本届竞赛设立的三大任务——机器阅读理解、多技能对话、多形态信息抽取均源于真实应用需求,每项任务设置了更加丰富的数据集合和评测维度,可以从多任务、鲁棒性和泛化性等角度对技术效果进行综合评价,从而推动技术更好地适应多领域、多场景的产业应用。
本次语言与智能技术竞赛所采用的数据集均来自于中文开源数据集项目“千言”。作为面向自然语言理解和生成任务的中文开源数据集合,“千言”旨在为研究人员带来一站式的数据集浏览、整理、下载和评测的科研体验。在本次比赛结束后,自然语言处理领域的研究者、开发者可通过“千言”官网(https://luge.ai)继续下载和使用相关数据集,并参与相应的常规评测,不断打磨和提升相关任务的技术水平,形成创新闭环。
百度全程提供技术支持 AI硬实力为大赛选手“保驾护航”
为了全力创造最佳竞赛条件,充分激发选手的创新灵感,百度作为本次大赛承办方为参赛选手提供了全面的技术资源和平台支持。
其中,百度飞桨平台为三大竞赛任务提供了基线系统,助力选手快速上手。同时,基于百度飞桨的人工智能学习与实训社区 AI Studio还提供了在线编程环境、免费 GPU算力支持,打破算力桎梏,在竞赛全流程为选手斩获佳绩“保驾护航”。
一直以来,百度以持续深耕的核心AI能力为各行各业赋能,助力中国产业智能化转型升级。连续三届与学界、业界共同举办语言与智能技术竞赛,百度希冀能够进一步挖掘和培养AI技术人才,同时为技术在实际产业场景中的落地和应用提供更多新思路与可能,为人工智能技术与产业的发展贡献不竭源动力。