搜狗搜索联合清华首战NTCIR13-STC2,以绝对优势排名第一

时间:2022-09-22 17:49:57 | 浏览:762

雷锋网(公众号:雷锋网) AI 科技评论消息,近日第十三届 NTCIR 评测比赛正式公布了短文本对话任务(STC2)的赛果。搜狗搜索联合清华大学计算机系组成的 SG01 战队首度参战,在 NTCIR13-STC2 评测比赛中以绝对优势排名第

雷锋网(公众号:雷锋网) AI 科技评论消息,近日第十三届 NTCIR 评测比赛正式公布了短文本对话任务(STC2)的赛果。搜狗搜索联合清华大学计算机系组成的 SG01 战队首度参战,在 NTCIR13-STC2 评测比赛中以绝对优势排名第一。

NTCIR Workshop是一个针对信息访问(IA)技术(包括信息检索、问题回答、文本摘要、提取等)的评估比赛。最早由日本学术振兴会(JSPS)和国立情报学研究所(NACSIS)联合赞助,并于1998年开始筹备,并最终在1999年成功举办首届workshop。

经过发展,NTCIR逐渐发展成为一项国际重要赛事,通过设置一系列基于中文、英文、日文三种语料的评测任务,目前NTCIR评测比赛已经举办至第十三届。

雷锋网 AI 科技评论根据资料了解到,在 2016 年,第十二届 NTCIR 中首次设置了基于中文、日文两种语料的评测新任务,即短文本对话任务(STC),这也是目前国际上唯一的“开放域”对话方面的评测比赛。

而其中的短文本对话任务NTCIR13-STC2,在继检索模型对话任务后,首次引入基于深度学习的生成模型对话的任务设置。雷锋网AI科技评论了解到, 本次比赛的主要目的是想将IR、NLP与深度学习研究者联合起来,一同解决自然语言对话,在分享最新研究成果的同时对相关议题进行探讨,共同规划可能有的合作空间。

据雷锋网 AI 科技评论了解,本次赛事共分为两个子任务。在检索任务中,研究者需要基于微博作为中文语料(或 Twitter 作为日语语料),并针对给定的一条新微博,通过给定的以往评论知识库检索到对应的连贯且有效的评论。

每个团队都会提前拿到知识库,此外:

1)在训练阶段,参赛团队可以根据 IR 技术构建自己的会话系统,使用给定的评论作为训练数据。

2)在测试阶段,每个团队都有100个测试查询(帖子),这些帖子并不在原有的知识库中。每个团队需要为每个查询提供十个结果(评论)的列表。这些评论必须源于知识库。

3)在评估阶段,所有参赛的结果汇总会以 0(不适当),1(适用于某些情况),2(适合)进行评分。 此外,评委也会结合IR测试的标准(例如nG@1,nERR@10 和 P+)进行评估。

而在生成任务中,则是希望参赛团队能根据给定帖子生成流畅、连贯且有意义的评论。根据规定,这一任务采用与第一个任务相同的知识库。生成器可通过使用统计机器翻译(SMT)模型或基于 RNN 的神经模型进行建模,当然,参赛团队也可以使用其它 NLG 方法。

1)在训练阶段,参与者可以通过评论知识库作为训练数据,建立自己的生成式对话系统。

2)在测试阶段,每个团队都有100个测试查询(帖子),这些帖子并不在原有的知识库中。每个团队被要求为每个查询提供十个生成结果(评论)的列表。评论不一定要源于知识库。

本次赛事共吸引了包括 BAT 等企业,以及北京大学、中国人民大学等多所知名高校参与,国内共有 11 家企业、29 所大学和研究所参加。最终,搜狗搜索联合清华大学计算机系组成的 SG01 战队,在 STC2 任务中官方指定的检索、生成两种方法上均位列第一名,且与第二名拉开显著差距。

雷锋网原创文章,未经授权禁止转载。详情见转载须知。

友情链接

SEO域名抢注宝宝起名网妈妈知道币圈何润东影迷网国际象棋培训网柳岩影迷网奇瑞汽车资讯网上海高端交友网广州白云山资讯网烧烤音乐节空气净化器资讯网大明湖畔旅游网龙岩沉缸酒资讯网恒洁卫浴资讯网徐峥影迷网伯爵腕表之家数字人直播资讯网中西餐菜谱
谷歌搜索百度推广网-百度搜索引擎、百度搜索排名、夸克搜索、谷歌搜索入口、万能搜索、全网搜索引擎、搜搜搜索、BT磁力搜索、Google本地搜索、盘古搜索、中国搜索、Google谷歌搜索引擎、360搜索、必应搜索、bing搜索引擎、搜狗搜索、神马搜索、好搜搜索、微软bing搜索。
谷歌搜索百度推广网 22265.cn ©2022-2028版权所有