最新微软官方MSDN原版Win10系统下载

当前位置:主页 > IT资讯 > 业界 >

ICLR 2020 匿名评审九篇满分论文,最佳论文或许就在其中

时间:2021-09-26    来源:ag亚洲集团登录网址    人气:

本文摘要:机械之心整理到场:思源、蛋酱、泽南从反传的自动微分机制,到不平行语料的翻译模型,ICLR 2020 这 9 篇满分论文值得你仔细阅读。早在去年12月,ICLR 2020的论文吸收效果就已经出来了,其吸收率到达了26.5%。ICLR 2020今年4月26日将在埃塞俄比亚首都亚的斯亚贝巴举行,因为这次集会只保留了四个品级:reject、weak reject、weak accept和accept,因此有30多篇论文获得了“满分”。

ag亚洲集团登录网址

机械之心整理到场:思源、蛋酱、泽南从反传的自动微分机制,到不平行语料的翻译模型,ICLR 2020 这 9 篇满分论文值得你仔细阅读。早在去年12月,ICLR 2020的论文吸收效果就已经出来了,其吸收率到达了26.5%。ICLR 2020今年4月26日将在埃塞俄比亚首都亚的斯亚贝巴举行,因为这次集会只保留了四个品级:reject、weak reject、weak accept和accept,因此有30多篇论文获得了“满分”。

在这篇文章中,我们将简介其中的9篇满分(全8分)论文,它们最终都被吸收为Talk 论文,届时论文作者会在大会上做长达十多分钟的演讲陈诉。论文:BackPACK: Packing more into Backprop链接:https://openreview.net/forum?id=BJlrF24twB机构:图宾根大学、不列颠哥伦比亚大学在深度学习中,自动微分框架只在盘算梯度时才是最强的。但实际上,小批量梯度的方差或者其它迫近海塞矩阵的方法,可以和梯度一样高效地盘算。研究者对这些盘算值很是感兴趣,但DL框架并不支持自动盘算,且手动执行又异常繁杂。

为相识决这个问题,来自图宾根大学的研究者在本文中提出一种基于PyTorch的高效框架BackPACK,该框架可以扩展反向流传算法,进而从一阶和二阶导数中提取分外信息。研究者对深度神经网络上分外数量的盘算举行了基准测试,并提供了一个测试最近几种曲率估算优化的示例应用,最终证实了BackPACK的性能。

BackPACK项目地址:https://github.com/toiaydcdyywlhzvlob/backpack图注:BACKPACK可以和PyTorch无缝拼接,并在反向流传中获得更多的信息,如上右图可以获取梯度的方差信息。评审决议:吸收为Talk论文;评审意见:这篇论文高效的盘算了种种反传的量,包罗梯度的方差预计、多种海塞矩阵近似量,以及梯怀抱。与此同时,论文还提供了软件包,所有评审者都认为改论文是很是好的事情,大会应该吸收它。

论文:Mirror-Generative Neural Machine Translation链接:https://openreview.net/forum?id=HkxQRTNYPH机构:南京大学、字节跳动训练神经机械翻译模型通常需要大量平行语料,它们是很是昂贵的,那么我们为什么不思量充实使用非平行语料训练翻译模型?在这篇论文中,研究者提出了一种名为镜像-生成式NMT的模型(MGNMT),它由单一的架构组成。该架构集成了源语言到目的语言的翻译模型、目的语言到源语言的翻译模型,其中两种翻译模型与语言模型都共享相同的潜在语义空间。因此,整个架构的两种翻译模型都可以从非并行数据中更高效地学习。

上面图1和图2划分展示了MGNMT的图示与镜像属性。在图1中,x和y划分是差别的语言,它们之间是需要互译的,与此同时,这两种语言同时共享隐藏语义空间z。

在图2中,研究者展示了x、y、z三者详细的关系是什么样的,岂论是语言模型还是翻译模型,隐藏变量z都是共享的。评审决议:吸收为Talk论文;评审意见:这篇论文提出了一种新方法以思量生成式神经机械翻译模型中的双向互译,该方法显著提升了翻译准确度。

三位评审者都很是浏览这篇论文,只管他们注意到性能收益会随着模型庞大度的提升而变小。不管怎么样,该基线效果是很是有竞争力的,也许在这些数据集上的提升以后并不会特别大了。

总体而言,我发现这篇论文很是优秀,而且强烈建议吸收这篇论文,也许它可以作为口头陈诉论文。论文:GenDICE: Generalized Offline Estimation of Stationary Values链接:https://openreview.net/forum?id=HkxlcnVFwB机构:杜克大学,谷歌马尔可夫链的平稳漫衍(stationary distribution)所界说的数量是强化学习和蒙特卡洛方法中的一个重要问题。在实际应用法式中,许多对基础转换运算符的会见仅限于已经收集的牢固数据集,而不包罗与情况的其他交互。

研究者认为,在牢固数据的情况下,完成一致的预计仍然是有可能的,重要的应用中仍然可以实现有效预计。研究者提出了GenDICE算法,并证明晰该方法在一般条件下的一致性。此外,研究者还提供了详细的错误分析,并演示了在基准任务上的强大履历性能。

评审决议:吸收为Talk论文;评审意见:作者开发了应用于Infinite Horizon强化学习任务的离计谋价值评估框架,用于评估马尔可夫链的平稳漫衍。审稿人对这项事情印象很是深刻。论文:A Theory of Usable Information under Computational Constraints链接:https://openreview.net/forum?id=r1eBeyHFDH机构:北京大学、斯坦福大学等研究者提出了一个用于在庞大系统中举行信息推理的新框架。

该研究的基础是香农信息理论的变体扩展,该方法思量了视察者的建模能力与盘算约束。与香农的互信息差别,新框架并不违反数据处置惩罚不平衡的情况,可以通过盘算构建F-information。

这与深度学习分层抽取特征信息的表达方式类似。凭据实验,研究者证明预测性F-information比相互信息对结构学习和公正表现学习更有效。评审决议:吸收为Talk论文;评审意见:所有评审者都吸收了该论文。

ag亚洲集团登录网址

论文:CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning链接:https://openreview.net/forum?id=HJgzt2VKPB机构:卡内基梅隆大学在这篇论文中,研究者假设当前视频数据集存在一些隐式偏差,尤其是在场景和目的结构上,这可能会使时间结构改变。为此,研究者构建了一个具有完全可视察和可控制的目的、场景偏置,这样的视频数据集确实需要时空的明白才气解决,研究者将该数据集命名为CATER。

除了具有挑战性外,CATER还提供了许多诊断工具,可以通过完全可视察和可控制的方式来分析现代时空视频架构。通过CATER,我们可以洞悉某些最新的深度视频体系结构。评审决议:吸收为Talk论文;评审意见:总体来说,所有评审者都发现该论文比力易读,而且对于数据集结构、任务界说、实验设定与分析都提供了足够的信息。

该论文收到所有评审员的一致赞同(3 accepts)。论文:Dynamics-Aware Unsupervised Skill Discovery链接:https://openreview.net/forum?id=HJgLZR4KvH机构:谷歌、剑桥大学通过新方法DADS,人形智能体可以在无奖励机制的情况下自行发现运动的合理机制。

传统上,基于模型的强化学习(MBRL)是旨在学习全情况动态的模型。优秀的模型应该倾向于让算法生成多种差别问题的解法。

在这项事情中,研究人员联合了基于模型和无模型的基本学习方法,从而简化了基于模型的计划,提出了无监视学习算法Dynamics-Aware Discovery of Skills(DADS)。这种方法能发现可预测的行为并学习其动态。从理论上讲,这种方法可以学习无数种行为动态。

实验证明,这种zero-shot计划方法显著优于尺度MBRL和无模型目的条件RL方法,可以处置惩罚稀疏奖励任务。评审决议:吸收为Talk论文;评审意见:这是一篇很是有意思的无监视技术学习论文,它基于技术效果的可预测性,并将它们整合到基于模型的强化学习中。因为所表达想法和写作的清晰,同时因为令人信服的实验,这篇论文很明确应给被吸收。

论文:Restricting the Flow: Information Bottlenecks for Attribution链接:https://openreview.net/forum?id=S1xWh1rYwB机构:慕尼黑工业大学、柏林自由大学归因方法(Attribution method)提供了对机械学习模型(如人工神经网络)决议的看法。对于给定的输入样本,这类方法为每个单独的输入变量(例如图片的像素)分配相关性分数。在这项事情中,作者将信息瓶颈观点用于归因。

通过将噪声添加到中间特征图,我们可以限制信息流,并量化(以bit为单元)图像区域中提供的信息。作者在VGG-16和ResNet-50上与十个差别基线模型举行了比力,新方法在六种设置上有五种优于所有基线。评审决议:吸收为Talk论文;评审意见:三个评审者都强烈建议吸收该论文。

该项研究很是清晰、新颖,同时对该领域有显著的孝敬。论文:Mathematical Reasoning in Latent Space链接:https://openreview.net/forum?id=Ske31kBtPr机构:自谷歌研究院作者设计了一种简朴的实验,以研究神经网络是否可以在牢固维度的隐空间中执行近似推理的多个步骤,发现算法可以乐成地对语句执行的一组重写(即转换),表现该语句的基本语义特征。实验证明,图神经网络可以对语句的重写乐成举行效果很好地预测,在隐形流传的多步骤情况下也是如此。

评审决议:吸收为Talk论文;评审意见:这篇论文受到了评审者的一致好评,其主题也很是有意思,关注潜在空间中的数学推理。领域主席统一推荐该论文吸收为口头陈诉论文,因此可以更形象地展示本文所举行的事情。论文:Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity链接:https://openreview.net/forum?id=BJgnXpVYwS¬eId=KA65jj-wX机构:麻省理工学院作者提供了梯度剪裁在训练深度神经网络时有效性的合明白释。

其关键因素是在实际神经网络训练样本中导出的新平滑度条件。研究人员视察到的梯度平滑,是一阶优化算法分析的焦点观点,通常被认为是一个常数,证明晰沿深度神经网络训练轨迹的显著变化。此外,该平滑度与梯度范数成正相关,而且与其他研究中的尺度假设相反:它可以随着梯度范数而增长。

这些视察效果限制了现有算法理论的适用性,后者依赖于平滑度的牢固界线。评审决议:吸收为Talk论文;评审意见:梯度裁剪现在变得越来越重要,因此很兴奋能看到论文能从理论的角度挖掘它的优秀性能。所有评审都很是浏览该项事情与最终效果。


本文关键词:ICLR,2020,匿名,评审,九篇,满分,论文,最佳,或许,ag亚洲集团登录网址

本文来源:ag亚洲集团登录网址-www.ruskenhuset.com

相关文章

业界排行榜

更多>>

U盘装系统排行榜

更多>>

系统教程排行榜

更多>>

公众号