腾佑旗下产品:
云服务器 智能五合一建站 咨询热线:400-996-8756
绑定享折扣 注册百度云
百度人脸识别
人脸识别 文字识别 图像识别 语音识别
  • 最新资讯
  • 热门资讯
  • 最热资讯
人工智能http://ai.tuidc.com/templets/default/img/advertising_space_right_3.jpg

百度AI全功能开发平台BML自动超参搜索技术详解

发布时间:2021-01-12 10:09 作者:未知

简述:今天腾佑AI人工智能给大家带来百度AI全功能开发平台BML自动超参搜索技术的全面解析,下面我们来看具体内容!

  今天腾佑AI人工智能给大家带来百度AI全功能开发平台BML自动超参搜索技术的全面解析,下面我们来看具体内容!
  在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型进行各种参数优化,以获得更好的模型效果。但调参其实并不简单,背后往往是通宵达旦的参数调试与效果验证,并需要做大量的实验,不仅耗时也耗费大量算力。
  全功能AI开发平台BML(Baidu Machine Learning),是为企业和个人开发者提供机器学习和深度学习一站式AI开发服务,并提供高性价比的算力资源,助力企业快速构建高精度AI应用。BML提供了从数据采集、数据清洗、数据标注、智能标注与多人标注、模型训练生产到模型管理、云端及离线推理服务管理等AI开发过程的全生命周期管理功能。
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  BML内置百度超大规模预训练模型,只需少量数据即可获得高精度模型效果。目前,BML已经支持脚本调参、Notebook与自定义作业这三种开发建模方式,灵活匹配企业开发者的开发习惯。
  在目前的脚本调参使用流程中,BML已经预设了模型超参数,但由于用户数据集内容丰富多样,预设的超参数很难在所有的数据集上得到很好的训练效果。用户可以自行调整超参数,但是手动调参十分耗费人力。为了减轻用户在调参上的精力投入,BML的研发大佬们日夜奋战,为用户上线了自动超参搜索的功能,帮助用户自动搜索效果较优的超参组合,省去调参的烦恼。
  百度BML的自动超参搜索技术亮点
  提供多种搜索算法
  所谓“超参”,有别于模型网络结构内部各层的参数,是指需要人为调整,通过人为经验设置来提高模型效果的参数,常见的超参包括学习率(learning_rate)、批样本数量(batch_size)等。在超参搜索的过程中,由于模型复杂、计算成本很高,且每个超参数都有较大的取值范围,导致搜索空间十分庞大,因此我们需要有“自动”超参搜索。
  自动超参搜索相比于人工调参,主要是省去了人工观察实验结果并调整参数再试验的过程,自动超参搜索把这个步骤用各种搜索算法来代替。
  BML提供的搜索算法有:
  1,随机搜索
  顾名思义是在参数变量的变化区间中随机采样参数组合成候选集,应用候选集进行训练和效果对比。随机搜索是普适的效率较高的搜索方法,通常作为基线标准,适用于对效率要求较高的情况,但不能保证一定能搜索到最佳的超参。
  2,贝叶斯搜索
  在搜索空间中随机选取初始超参数点,然后根据已有超参对应的指标结果拟合概率模型,通过概率模型推测最佳超参点,接着再试验得到这些超参点的结果。如此反复优化,再有限试验次数中搜索出合适的超参数。基于模型的序贯优化方法(SMBO,Sequential Model-Based Optimization)是贝叶斯搜索的一种范式,包括两个部分:代理模型(surrogate model)和采集函数(acquisition function)。根据代理模型和采集函数的不同,贝叶斯搜索方法也有许多实现形式,其中TPE(Tree-structured Parzen Estimator)是一种全局探索能力较佳的方法,采用核密度估计方法(KDE,Kernel Density Estimation)生成代理模型,采用EI(Expected Improvement)作为其采集函数生成新采样点。
  3,进化算法
  进化算法是一种基于种群概念的超参搜索策略,把超参配置视为一个种群,并行优化多个种群并在种群内部进行优胜劣汰的筛选,最终输出最佳模型。这个过程(如下图所示)是从遗传算法获得的灵感,种群的初始化采用随机的方式生成,个体的优胜劣汰具体指利用(exploit)和探索(explore)两个步骤,不仅可能会从表现较好的个体中复制参数,它还能通过随机扰动修正当前的值而探索新的超参数组合。
 

百度AI全功能开发平台BML自动超参搜索技术详解
 
  图片来源:https://arxiv.org/pdf/1711.09846v1.pdf
  百度创新提出了随机微分方程无梯度优化算法PSHE2,采用哈密尔顿动力系统搜索参数空间中“势能”最低的点以替代随机扰动,加速迭代收敛。超参搜索过程中想要求得最优解就是要找到更新超参数组合的方法,即如何更新超参数,才能让算法更快更好的收敛到最优解。PSHE2算法根据超参数本身历史的最优,在一定随机扰动的情况下决定下一步的更新方向。过程如图所示。
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  图片来源:https://github.com/PaddlePaddle/PaddleHub/blob/release/v1.5/docs/tutorial/autofinetune.md
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  自动超参搜索方法比较
 
  上表归纳了一下这些搜索方法的优缺点。总之,网格搜索和随机搜索实现上比较简单,不利用先验知识选择下一组超参数,其中随机搜索效率相对较高。贝叶斯搜索和进化算法需要用前一轮的信息进行迭代搜索,搜索效率明显提升。
  BML自动超参搜索的实现:系统架构
  BML自动超参搜索功能基于百度自研自动超参搜索服务,服务运行过程如下图所示,依靠百度智能云CCE算力,支持多自动搜索任务并发。为了提供一个“好用”的自动超参搜索服务,架构实现时在并发搜索效率提升和系统容错方面着重进行了考虑。
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  一次超参搜索任务包含以下流程:
  1,业务平台把超参搜索任务的用户配置信息提交到超参搜索服务,会创建一次搜索实验(Experiment),并记录到db中。
  2,搜索服务把任务提交到Experiment controller,由controller初始化创建Trial管理模块,并负责Experiment生命周期的管理。
  3,Trial是具体的训练试验,一个Experiment会产生多个Trial来探索不同超参数组合的最终效果。Tuner是超参生成的模块,会根据选择的超参搜索算法,推荐下一个Trial所使用的超参值。在Trial管理模块中,Exp Manager会负责生成若干Trial,向Tuner请求具体的试验超参数,并向Trial Scheduler发送Trial任务信息。
  4,Trial Scheduler会与底层资源交互实际启动Trial。Trial Scheduler会管理所有Trial的生命周期。
  5,每个Trial运行完成后,会向Exp Manager汇报指标等信息,用于汇报给tuner并记录到db。
  BML自动超参搜索主要有以下特性:
  1,简单易用:相比于同类产品的复杂配置,BML在为用户提供必须的开放配置项的前提下,尽可能减少超参配置的繁琐程度,凡是可以自动化的工作均不对用户可见。
  2,模型丰富:与脚本调参上提供的丰富的模型打通,可以直接配置化完成相应任务的搜索,甚至不用写代码!
  3,容错机制:自动超参搜索任务具有模型训练次数多、任务整体运行时间长的特点,受显存资源限制,有些搜索出的超参数无法成功运行。兼顾搜索效果和可用产出,增设模型训练失败次数阈值,把Experiment和Trial这样多任务的复杂状态管理分拆到各层模块中,尽可能为用户提供搜索出的可用结果。
  4,支持早停与采样:搜索框架内部支持自动早停,当达到设定的预期结果时即可自动停止;同时也支持在界面上手动提前停止,减少用户的等待时间,避免不必要的算力消耗。支持用户选择大数据集时自动进行采样,减少超参搜索训练耗时,以尽快搜索出合适的超参为上。
  5,高效分布式智能搜索:深度学习模型的训练时间往往较长,对于大规模数据集或者复杂模型的搜索任务,单机串行的搜索方式几乎不可用。我们注意到有的搜索算法中每次试验是可以独立进行训练的(如网格搜索、随机搜索),可以直接对所有试验并行化;有的搜索算法虽然本质基于迭代,但每个迭代中的试验运行仍然是相互独立的,因此我们可以在迭代内部进行并行化搜索。BML内部实现了智能调度系统,根据不同的算法类型,采用不同的并发策略,可以大幅度降低整体搜索时间。
  上手实操:自动超参搜索使用攻略
  1,首先点击https://ai.baidu.com/bml/app/project/script/list创建一个脚本调参项目,如果已经有项目了,直接用就可以!目前支持超参搜索的项目类型有图像分类(单标签和多标签)及物体检测,创建对应类型的项目就可以了
  2,在项目里新建任务,配置好任务的网络、数据、脚本之后,就可以看到“配置超参数”的选项了。这里如果已经有超参搜索的结果,可以直接勾选“已有超参搜索结果”来使用,如果第一次使用还没有,就直接选择“自动超参搜索”。
  3,目前BML支持了三种超参搜索算法,如图,分别是贝叶斯搜索、随机搜索和进化算法,可以根据自己需要选择一种来搜索。具体配置项说明可以参考技术文档。
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  3.1贝叶斯搜索的参数说明
  
百度AI全功能开发平台BML自动超参搜索技术详解

       【初始点数量】代表贝叶斯搜索中,初始化时参数点的数量,该算法基于这些参数信息推测最优点,填写范围1-20。
  【最大并发量】贝叶斯搜索中,同时进行试验的数量,并发量越大,搜索效率越高,填写范围1-20。不过这个并发量也会受限于页面最下方选择的GPU数量,实际并发量是二者的较小值。
  【超参范围设置】:可以是默认配置,也可以手动配置。默认的话百度的工程师们已经帮我们对不同网络、GPU卡型设置了一个基本靠谱的搜索范围,直接用就可以。当然也可以手动配置,可以自定义各个超参的范围,可以看到物体检测支持以下这些超参自定义搜索范围
 
百度AI全功能开发平台BML自动超参搜索技术详解

       【最大搜索次数】:是指最多组合出多少组超参并跑试验,当然有可能会因为提前达到目标而停止,节约费用。
  【数据采样比例】:使用超参搜索时,会对原始数据集进行采样后再训练,加快搜索速度。当数据集并不大时,不推荐采样哟,可能会影响最终效果,只有大数据量时才有使用采样的必要。
  【最高mAP/最高精确率】:是指大家期望模型效果可以达到的mAP(物体检测)或准确率(图像分类)的值,当试验中达到这个值了搜索就会停止,避免后续浪费搜索时间。
  3.2随机搜索参数说明
  随机搜索最简单啦,就不需要再额外配置算法相关的参数了,其它公用的选项和贝叶斯搜索的含义是一样的,参考贝叶斯搜索即可。
  3.3进化算法参数说明
  
百度AI全功能开发平台BML自动超参搜索技术详解
 
  进化算法是一种效果较好的算法,应用此算法时也需要进行较多的选项设置:
  【迭代轮数】:进化算法运行中迭代的轮数,范围5-50。
  【扰动间隔】:进化算法每隔几个epoch就会进行随机扰动,利用随机因素防止算法结果收敛于局部最优解。
  【扰动比例】:类似于染色体交叉的形式,迭代中一个种群内最好与最坏的个体依据扰动比例进行交叉。
  【随机初始化概率】:在扰动中,有一定概率对个体的超参数进行初始化。
  【种群个体数量】:一个个体代表一种超参数设置,一个种群中包含多个个体。
  其它选项和贝叶斯搜索的含义一致,也不重复了。进化算法的配置需要对算法的原理有一定的了解,如果对算法不明白的,就直接用百度给的默认值吧!
  4,超参的选项设置完成了,最后选择GPU卡类型和数量,以及最大搜索时间,就可以提交任务啦!这里默认的搜索时间是24小时,毕竟超参搜索会运行多次试验,时间会比较长,需要耐心等待,当然如果选的GPU卡数越多,并发试验数就越高,从提交任务到搜索完成的耗时就会变少,这是显而易见的
  5,任务提交之后,过一会当任务进入“超参搜索中”的状态时,就可以看到各个试验的进度了,包括各个试验的状态、日志和准确率(mAP)
  
百度AI全功能开发平台BML自动超参搜索技术详解
 
  6,超参搜索训练完成后,效果最优的5次试验可以看到详细的评估结果,也能用于后续的效果校验和发布。当然,如果在超参搜索时对数据进行了采样,这时候可以重新发起一次训练任务,用这次搜索出来效果满意的超参数进行全量数据训练,从而获得完整数据的模型效果
  效果才是硬道理:超参搜索效果提升高达20%+
  我们对比了图像分类、物体检测、实例分割等任务在使用普通脚本调参和超参搜索的效果情况,以下是5个不同数据集在BML平台上分别使用默认脚本调参参数、超参搜索使用进化算法、超参搜索使用贝叶斯搜索算法的效果对比。图中左边纵轴为模型的准确率,右边纵轴为超参搜索算法在效果上提升的比例。可以看到在不同数据集上使用超参搜索后效果均有提升,在默认参数精度已经超过85%的情况下,使用超参搜索仍能提升约5%,在默认参数效果较差的情况下,超参搜索的提升效果更为明显,可高达22%。
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  在常规操作下,可用的深度学习自动超参搜索由于需要集群计算资源,往往被认为只有大公司才能配置,普通开发者难以上手尝试。通过使用百度全功能AI开发平台BML,预算有限也有机会用上自动超参搜索,开发效率瞬间搭上火箭速度,摆脱人力“炼丹”的束缚。BML新用户现在还提供100小时免费P4显卡算力,羊毛在向你招手,快来薅一把!
  BML官网:https://ai.baidu.com/bml/
 
百度AI全功能开发平台BML自动超参搜索技术详解
 
  更多百度AI全功能开发平台相关没人,腾佑AI人工智能持续分享中!
点击展开全文

腾佑AI(ai.tuidc.com) 成立于2007年,一直致力于发展互联网IDC数据中心业务、云计算业务、 CDN业务、互联网安全及企业客户技术解决方案等产品服务, 2018年成为百度云河南服务中心。主营服务器租用,服务器托管,虚拟主机, 域名注册,机柜租用,主机租用,主机托管,带宽租用,云主机,CDN加速 , WAF防火墙,网络安全,人脸识别,文字识别,图像识别,语音识别等业务;

售前咨询热线:400-996-8756

备案提交:0371-89913068

售后客服:0371-89913000

热门活动

腾佑智能建站
  • 热门资讯
  • 随便看看

联系方式

400-996-8756 点击这里给我发消息 AI@tuidc.com
腾佑AI人工智能

微信公众号

腾佑AI人工智能

手机站

COPYRIGHT 2007-2020 TUIDC ALL RIGHTS RESERVED 腾佑科技-百度AI人工智能_百度人脸识别_图像识别_语音识别提供商

地址:河南省郑州市姚砦路133号金成时代广场6号楼13层 I CP备案号:豫B2-20110005-1 公安备案号: 41010502003271

声明:本站发布的内容版权归郑州腾佑科技有限公司所有,本站部分素材来源于网络及网友投稿,若无意中侵犯了您的版权,请致电在线客服我们将在核实后予以删除!