腾佑旗下产品:
智能五合一建站 咨询热线:400-996-8756
绑定享折扣 注册百度云
百度人脸识别
人脸识别 文字识别 图像识别 语音识别
  • 最新资讯
  • 热门资讯
  • 最热资讯
人工智能http://ai.tuidc.com/templets/default/img/advertising_space_right_3.jpg

百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首

发布时间:2021-07-08 09:07 作者:腾佑科技-AI编辑

简述:今天给大家带来的是百度文心ERNIE 3.0一举刷新50多个NLP任务位列SuperGLUE全球榜首的像信息,下面我们一起来看相关内容!

  今天给大家带来的是百度文心ERNIE 3.0一举刷新50多个NLP任务位列SuperGLUE全球榜首的像信息,下面我们一起来看相关内容!
  近日,百度ERNIE升级到3.0,重磅发布知识增强的百亿参数大模型。该模型除了从海量文本数据中学习词汇、结构、语义等知识外,还从大规模知识图谱中学习。
  ERNIE 3.0一举刷新54个中文NLP任务基准,其英文模型在国际权威的复杂语言理解任务评测SuperGLUE上,以超越人类水平0.8个百分点的成绩登顶全球榜首。ERNIE 3.0同时具备超强语言理解能力以及写小说、歌词、诗歌、对联等文学创作能力。
  目前ERNIE 3.0已在百度文心官网开放,用户可体验ERNIE 3.0创作的不同形式的内容,实现更多有创意、有价值的应用。
  论文链接:https://arxiv.org/pdf/2107.02137.pdf
  Demo链接:https://wenxin.baidu.com/wenxin/ernie
  ERNIE 3.0知识增强大模型:
  百亿级预训练中首次引入大规模知识
  近一年来,以GPT-3、Switch-Transformer为代表的大规模预训练模型,带来了人工智能领域新的突破,由于其强大的通用性和卓越的迁移能力,掀起了预训练模型往大规模参数化发展的浪潮。然而,现有的大规模预训练模型,主要依赖纯文本学习,缺乏大规模知识指导学习,模型能力存在局限。
  ERNIE 3.0的研究者进一步挖掘大规模预训练模型的潜力,基于深度学习平台飞桨的分布式训练技术优势,首次在百亿级预训练模型中引入大规模知识图谱,提出了海量无监督文本与大规模知识图谱的平行预训练方法(Universal Knowledge-Text Prediction)。通过将大规模知识图谱的实体关系与大规模文本数据同时输入到预训练模型中进行联合掩码训练,促进了结构化知识和无结构文本之间的信息共享,大幅提升了模型对于知识的记忆和推理能力。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE 3.0中的文本与知识平行预训练
  ERNIE 3.0统一预训练框架:
  同时具备语言理解和语言生成能力
  百度研究者提出了将通用语义表示与任务语义表示相结合的模型框架,该框架融合自编码和自回归等不同的任务语义表示网络,既可同时处理语言理解和语言生成任务,还能做无标注数据的零样本学习(Zero-shot Learning)和有标注数据的微调训练(Fine-tuning)。此外,ERNIE 3.0在持续学习框架的基础上,增加了任务语义表示网络,加速模型进化。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE 3.0框架
 
  ERNIE 3.0框架分为两层。第一层是通用语义表示网络,该网络学习数据中的基础和通用的知识。第二层是任务语义表示网络,该网络基于通用语义表示,学习任务相关的知识。不同任务语义表示网络可通过自编码结构或者自回归结构实现,并通过底层共享实现交互和增强。在学习过程中,任务语义表示网络只学习对应类别的预训练任务,而通用语义表示网络会学习所有的预训练任务。
  ERNIE 3.0效果:
  一举刷新54个中文NLP任务基准
  百度研究者在54个中文自然语言处理公开数据集,包含情感分析、观点抽取、阅读理解、文本摘要、对话生成、数学运算等任务上,全面验证评估了ERNIE 3.0的效果和通用能力。ERNIE 3.0均取得了当前最好效果,其中,在20多个不同类型的自然语言处理任务上取得了3%以上的显著提升。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE 3.0在Fine-tuning范式下的任务效果
 
  在实际应用中,往往缺乏标注数据,因此,百度研究者也测试了ERNIE 3.0在Zero-shot Learning(零样本学习)范式下的效果,ERNIE 3.0在大多数任务上相对已有的中文大模型也取得了显著的效果提升。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE 3.0在零样本学习下的效果
 
  ERNIE 3.0英文模型登顶SuperGLUE:
  超越人类水平0.8个百分点
  除了中文模型的惊艳效果,ERNIE 3.0英文模型在国际权威的复杂语言理解任务评测SuperGLUE上超越谷歌的T5、OpenAI的GPT-3等大模型,以超越人类水平0.8个百分点的成绩登顶全球榜首。
  SuperGLUE是由谷歌DeepMind、Facebook研究院、纽约大学、华盛顿大学等多个权威机构联合发布的复杂语言理解任务评测,旨在提升常识推理、因果判断、上下文消歧、指代消解等复杂任务的效果。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE 3.0登顶SuperGLUE全球榜首
 
  事实上,早在2019年12月,ERNIE就曾以9个任务平均得分首次突破90大关的成绩登顶GLUE全球榜首。这次ERNIE 3.0在SuperGLUE评测上夺冠,再次证明了ERNIE的强大实力。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE登顶GLUE全球榜首
 
  写小说、写歌词、写古文:
  ERNIE 3.0文学创作与知识掌握能力显著提升
  ERNIE 3.0,在文学创作能力方面也有了显著提升,可以通过对海量文本与知识的学习,无需专门训练,即可进行文学创作。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  ERNIE 3.0对知识的掌握,同样大幅提升,通过知识图谱对模型进行增强,让模型具备更强的知识记忆和推理能力。
 
百度文心ERNIE 3.0刷新50多个NLP位列SuperGLUE全球榜首
 
  目前这些能力已经开放体验,大家可以点击左下角阅读原文亲身感受ERNIE 3.0的技术魅力。
  文心ERNIE自2019年诞生至今,在语言理解、文本生成、跨模态语义理解等领域取得一系列技术突破,在公开权威语义评测中斩获了十余项世界冠军。2020年,文心荣获世界人工智能大会(WAIC)最高奖项SAIL奖。
  目前,文心ERNIE已大规模应用于搜索、信息流、智能音箱等互联网产品,并通过百度智能云输出到工业、能源、金融、通信、媒体、教育等各行各业,助力产业智能化升级。本次发布的ERNIE 3.0也将进一步提升应用效果,创造更大的经济与社会价值。
  更多百度文心自然语言处理相关内容,AI人工智能持续分享中!
点击展开全文

腾佑AI(ai.tuidc.com) 成立于2007年,一直致力于发展互联网IDC数据中心业务、云计算业务、 CDN业务、互联网安全及企业客户技术解决方案等产品服务, 2018年成为百度云河南服务中心。主营服务器租用,服务器托管,虚拟主机, 域名注册,机柜租用,主机租用,主机托管,带宽租用,云主机,CDN加速 , WAF防火墙,网络安全,人脸识别,文字识别,图像识别,语音识别等业务;

售前咨询热线:400-996-8756

备案提交:0371-89913068

售后客服:0371-89913000

热门活动

腾佑智能建站
  • 热门资讯
  • 随便看看

联系方式

400-996-8756 点击这里给我发消息 AI@tuidc.com
腾佑AI人工智能

微信公众号

腾佑AI人工智能

手机站

COPYRIGHT 2007-2020 TUIDC ALL RIGHTS RESERVED 腾佑科技-百度AI人工智能_百度人脸识别_图像识别_语音识别提供商

地址:河南省郑州市姚砦路133号金成时代广场6号楼13层 备案号: 豫B2-20110005-1

声明:本站发布的内容版权归郑州腾佑科技有限公司所有,本站部分素材来源于网络及网友投稿,若无意中侵犯了您的版权,请致电在线客服我们将在核实后予以删除!