腾佑旗下产品:
智能五合一建站 咨询热线:400-996-8756
绑定享折扣 注册百度云
百度人脸识别
人脸识别 文字识别 图像识别 语音识别
  • 最新资讯
  • 热门资讯
  • 最热资讯
人工智能http://ai.tuidc.com/templets/default/img/advertising_space_right_3.jpg

百度文心大规模中文跨模态生成模型ERNIE-ViLG

发布时间:2022-01-10 09:21 作者:创始人

简述:今天给大家分享的是百度AI大规模中文跨模态生成模型文心ERNIE-ViLG,下面我们一起来看具体详情!

  今天给大家分享的是百度文心大规模中文跨模态生成模型ERNIE-ViLG,下面我们一起来看具体详情!

  前不久,百度产业级知识增强大模型“文心”全景图亮相,近日,其中的跨模态生成模型ERNIE-ViLG在百度文心官网开放体验入口,并放出了论文。

  体验链接:https://wenxin.baidu.com/wenxin/ernie-vilg

  论文链接:https://arxiv.org/pdf/2112.15283.pdf


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  据悉,文心ERNIE-ViLG参数规模达到100亿,是目前为止全球较大规模中文跨模态生成模型,该模型首次通过自回归算法将图像生成和文本生成统一建模,增强模型的跨模态语义对齐能力,显著提升图文生成效果。

  先来体验下文心ERNIE-ViLG“图像创作”能力。

  在文字生成图像上,文心ERNIE-ViLG可以根据用户输入的文本,自动创作图像,生成的图像不仅符合文字描述,而且达到了非常逼真的效果。

  注意!以下图片都是全新生成,并非可直接搜索到的原图。

  文心ERNIE-ViLG不仅能创作建筑、动物等单个物体:


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  还可以创作包含多个物体的复杂场景:


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  甚至能根据用户输入的文字要求脑洞大开:


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  对于具有无限想象力的古诗词,文心ERNIE-ViLG也能生成恰如其分的画面,并根据不同的图画风格也有所调整:


百度文心大规模中文跨模态生成模型ERNIE-ViLG

百度文心大规模中文跨模态生成模型ERNIE-ViLG

  油画风格


百度文心大规模中文跨模态生成模型ERNIE-ViLG

  中国画风格


百度文心大规模中文跨模态生成模型ERNIE-ViLG

  水彩画风格

  此外,还能根据文字提示对图片进行补全:


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  而在图像到文本的生成上,文心ERNIE-ViLG能够理解画面,用简洁的语言描述画面的内容:


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  不仅如此,文心ERNIE-ViLG还能够根据图片中的场景回答相关的问题:


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  目前文心ERNIE-ViLG在百度文心官网开放体验的文本生图像demo能够根据古诗词进行作画,增强诗词的画面感。

  在这些能力的背后,究竟蕴含着怎样的AI技术秘密?

  跨模态生成:

  AI领域极具挑战性的一道“难题”

  跨模态生成,指的是将一种模态(文本、图像、语音)转换成另一种模态,同时保持模态之间的语义一致性。

  图文生成是跨模态生成的挑战之一。以文本生成图片为例,文本描述概括性强,根据文本生成图片,需要考虑大量文字中未涵盖的细节信息,具有极高的挑战性。例如诗句“春江水暖鸭先知”,仅仅描述了江水、鸭子两个物体和春天这个季节,但没有具体描述鸭子的颜色、江边的桃花以及图中物体之间的位置关系。


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  春江水暖鸭先知

  近些年来,基于生成对抗网络(GAN)的方法在人脸、风景等受限领域的文本到图像生成任务上已取得了不错的效果;DALL-E通过超大规模的自回归生成模型,在图像片段之间建立了前后依赖的关系,从而具备多样性生成的建模能力,在多样性更强、难度更大的开放领域文本到图像生成上取得了亮眼的效果。

  百度文心ERNIE-ViLG模型则进一步提出统一的跨模态双向生成模型,通过自回归生成模式对图像生成和文本生成任务进行统一建模,更好地捕捉模态间的语义对齐关系,从而同时提升图文双向生成任务的效果。文心ERNIE-ViLG在文本生成图像的权威公开数据集MS-COCO上,图片质量评估指标FID(Fréchet Inception Distance)远超OpenAI的DALL-E等同类模型,并刷新了图像描述多项任务的最好效果。此外,文心ERNIE-ViLG还凭借强大的跨模态理解能力,在生成式视觉问答任务上也取得了领先成绩。

  文心ERNIE-ViLG技术原理解读:

  图文双向生成统一建模

  百度文心ERNIE-ViLG使用编码器-解码器参数共享的Transformer作为自回归生成的主干网络,同时学习文本生成图像、图像生成文本两个任务。

  基于图像向量量化技术,文心ERNIE-ViLG把图像表示成离散的序列,从而将文本和图像进行统一的序列自回归生成建模。在文本生成图像时,文心ERNIE-ViLG模型的输入是文本token序列,输出是图像token序列;图像生成文本时则根据输入的图像序列预测文本内容。两个方向的生成任务使用同一个Transformer模型。视觉和语言两个模态在相同模型参数下进行相同模式的生成,能够促进模型建立更好的跨模态语义对齐。


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  文心ERNIE-ViLG图文双向生成统一建模框架

  已有基于图像离散表示的文本生成图像模型主要采用两阶段训练,文本生成视觉序列和根据视觉序列重建图像两个阶段独立训练,文心ERNIE-ViLG提出了端到端的训练方法,将序列生成过程中Transformer模型输出的隐层图像表示连接到重建模型中进行图像还原,为重建模型提供语义更丰富的特征;对于生成模型,可以同时接收自身的抽象监督信号和来自重建模型的原始监督信号,有助于更好地学习图像表示。

  文心ERNIE-ViLG构建了包含1.45亿高质量中文文本-图像对的大规模跨模态对齐数据集,并基于百度飞桨深度学习平台在该数据集上训练了百亿参数模型,在文本生成图像、图像描述等跨模态生成任务上评估了该模型的效果。

  文本生成图像(Text-to-image Synthesis)

  任务效果

  文心ERNIE-ViLG文本生成图像的能力在开放领域公开数据集MS-COCO上进行了验证。评估指标使用FID(该指标数值越低效果越好),在zero-shot和finetune两种方式下,文心ERNIE-ViLG都取得了最佳成绩,效果远超OpenAI发布的DALL-E等模型。


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  文心ERNIE-ViLG在MS-COCO数据集上的效果

  图像描述(Image Captioning)

  任务效果

  图像生成文本能力上,文心ERNIE-ViLG在COCO-CN、AIC-ICC两个公开中文图片标题生成数据集上,都取得了最好成绩。


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  文心ERNIE-ViLG在AIC-ICC数据集上的效果

  生成式视觉问答(Generative VQA)

  任务效果

  在生成式视觉问答方面,文心ERNIE-ViLG也展示了不俗的实力。生成式视觉问答要求模型根据图像内容和对应的问题生成答案,模型需要具备深度的视觉内容理解能力和跨模态的语义对齐能力,并需要生成简短的答案文本,难度极高。文心ERNIE-ViLG在FMIQA数据集上取得了最好的效果,图灵测试的通过率达到了78.5%,优于当前最好方法14个百分点。


百度文心大规模中文跨模态生成模型ERNIE-ViLG


  文心ERNIE-ViLG在FMIQA数据集上的效果

  让机器具备跨模态生成能力是人工智能的重要目标之一。在艺术创作、虚拟现实、图像编辑、AI辅助设计、虚拟数字人等领域,文心ERNIE-ViLG这类跨模态大模型有着广泛的应用前景,也为这些领域未来的发展提供了无限的创意和可能。作为百度“文心”大模型全景图中的重要一员,文心ERNIE-ViLG也代表着百度文心在跨模态大模型领域迈出坚实步伐,从技术自主创新和加速产业应用方面持续推动中国AI发展。

  更多百度文心大模型相关内容,百度云服务中心持续分享中!

  推荐阅读:数据驱动AI技术进步—千言开源数据集全面升级

点击展开全文

腾佑AI(ai.tuidc.com) 成立于2007年,一直致力于发展互联网IDC数据中心业务、云计算业务、 CDN业务、互联网安全及企业客户技术解决方案等产品服务, 2018年成为百度云河南服务中心。主营服务器租用,服务器托管,虚拟主机, 域名注册,机柜租用,主机租用,主机托管,带宽租用,云主机,CDN加速 , WAF防火墙,网络安全,人脸识别,文字识别,图像识别,语音识别等业务;

售前咨询热线:400-996-8756

备案提交:0371-89913068

售后客服:0371-89913000

热门活动

腾佑智能建站
  • 热门资讯
  • 随便看看

联系方式

400-996-8756 点击这里给我发消息 AI@tuidc.com
腾佑AI人工智能

微信公众号

腾佑AI人工智能

手机站

COPYRIGHT 2007-2020 TUIDC ALL RIGHTS RESERVED 腾佑科技-百度AI人工智能_百度人脸识别_图像识别_语音识别提供商

地址:河南省郑州市姚砦路133号金成时代广场6号楼13层 备案号: 豫B2-20110005-1

声明:本站发布的内容版权归郑州腾佑科技有限公司所有,本站部分素材来源于网络及网友投稿,若无意中侵犯了您的版权,请致电在线客服我们将在核实后予以删除!