脚踏阀厂家
免费服务热线

Free service

hotline

010-00000000
脚踏阀厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

才办了五年的ICLR为何被誉为深度学习的顶级会议_[#第一枪]

发布时间:2021-06-07 14:56:08 阅读: 来源:脚踏阀厂家

雷锋网AI科技评论按:ICLR 2017 将于4月24-26日在法国土伦举行,届时雷锋网AI科技评论的编辑们也将前往法国带来一线报道。在这个深度学习会议举办之前,雷锋网也将围绕会议议程及论文介绍展开一系列的覆盖和专题报道,敬请期待。

ICLR,全称为「International Conference on Learning Representations」(国际学习表征会议),2013 年才刚刚成立了第一届。这个一年一度的会议虽然今年才办到第五届,但已经被学术研究者们广泛认可,被认为「深度学习的顶级会议」。

尽管彼时顶级的国际会议多如牛毛,像雷锋网曾经覆盖过的 AAAI、CVPR、ACL 及 NIPS 等会议,都是拥有多年历史的老牌学术会议,它们也被 CCF 评选为一类会议。那么为何 ICLR 还会「后来居上」,一跃成为深度学习炙手可热的无冕之王呢?

小荷才露尖尖角

首先,这个会议的来头不小,由位列深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun 牵头创办。

Yoshua Bengio 是蒙特利尔大学教授,深度学习三巨头之一,他领导蒙特利尔大学的人工智能实验室(MILA)进行 AI 技术的学术研究。MILA 是世界上最大的人工智能研究中心之一,与谷歌也有着密切的合作。

而 Yann LeCun 就自不用提,同为深度学习三巨头之一的他现任 Facebook 人工智能研究院(FAIR)院长、纽约大学教授。作为卷积神经网络之父,他为深度学习的发展和创新作出了重要贡献。

至于创办 ICLR 的原因何在,尝试从 Bengio 和 LeCun 于 ICLR 第一届官网所发布的公开信推测一二。

「众所周知,数据的应用表征对于机器学习的性能有着重要影响。表征学习的迅猛发展也伴随着不少问题,比如我们如何更好地从数据中学习更具含义及有效的表征。我们对这个领域展开了探索,包括了深度学习、表征学习、度量学习、核学习、组合模型、非常线性结构预测及非凸优化等问题。

尽管表征学习对于机器学习及包括视觉、语音、音频及 NLP 领域起着至关重要的作用,目前还缺乏一个场所,能够让学者们交流分享该领域所关心的话题。ICLR 的宗旨正是填补这一鸿沟。」

从两人的说法中,ICLR 希望能为深度学习提供一个专业化的交流平台。但实际上 ICLR 不同于其它国际会议,得到好评的真正原因,并不只是他们二位所自带的名人光环,而在于它推行的 Open Review 评审制度。

Open Review 评审机制

目前的论文审核主要分为单盲 (single-blind review)、双盲 (double-blind review) 及开放评审(open review)等多种形式。单盲评审的含义非常简单,即评审知道作者的名字、学校等身份信息,但作者并不知道评审论文的人是谁;而双盲评审则是双方都不知晓彼此的身份信息。这两种方式为较多学术会议及期刊评审论文的主要途径。

单盲评审的优势非常明显,即评审处于匿名身份,可以让评审免受压力,但评审由于知道了论文的作者信息,则非常有可能产生刻板印象,产生不够客观的评审结果。比如,对于比较有名的学者,评审会对论文的质量产生预设。而双盲评审则能够大幅降低作者个人信息所带来的附加效应,不过,评审也非常有可能从行文、主题中判断作者的信息。

而 Open Review 则非常不同,根据规定,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。

ICLR 虽然并不一定是第一个采用 Open Review 进行论文评审的机构,但一定是做得最公开、影响范围最大的一个会议。虽然 ICLR 开了公开透明的先河,但也有可能引来争议及不必要的舆论讨论,比如前段时间雷锋网提及的 ICLR 最佳论文,就在 Open Review 上引来了公开讨论。

目前 ICLR 的历届所有论文及评审讨论的内容,都完整地保存在 OpenReview.net 上,它也是 ICLR 的官方投稿入口。OpenReview.net 是马萨诸塞大学阿默斯特学院 Andrew McCallum 为 ICLR 2013 牵头创办的一个公开评审系统,秉承公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源等八大原则,得到了 Facebook、Google、NSF 和马萨诸塞大学阿默斯特中心等机构的支持。此外,目前它也接受其它学术会议的论文投递。

这样的公开评审制度在双盲或单盲的学术会议环境下可谓一股清流,迅速吸引了学界的注意。

大牛背书的 ICLR

那么大家对 ICLR 的风评如何?雷锋网 AI 科技评论在 Quora 上看到不少人对 ICLR 的评价,发现几个特点:

首先,ICLR 经常与几个名声在外的大会相提并论,比如在这个提问中指出:「对于 ML&NLP 的低年级博士生,第一次在像 ICML/ACL/NIPS/ICLR?NAACL 等顶级会议中发表论文是一种怎样的体验?」

还有「像 NIPS/ICML/ICLR/AAAI 等会议是如何筛选论文的?」这样的问题,可以看出提问者对于 ICLR 还是非常看重的。

其次,Bengio 等大牛也在一些深度学习的回答中巧妙地植入了 ICLR 的「软广」,比如在 2014 年一个题为「深度学习近年有哪些活跃的研究领域?」中,Bengio 就回答道:

「我建议你看看 ICLR 2013 和 2014 的论文,可能会带给你一些启发。……」

约翰霍普金斯计算机科学教授 Jason Eisner 也提及,「我受邀在 ICLR/NIPS 和 ICML 做了 workshop 报道。」

LeCun 在一个题为「2016 年你读过的最有趣的论文是什么?」的问题中,他说:「我不想选那些什么最佳论文,但我会看看 ICLR 2016 的论文。」随后丢出了一个 ICLR 2016 的入选论文列表。

大牛们在 Quora 上的背书和关注,同样也会借助名人效应引起更多读者的关注和了解,而这样的循环往复,又能吸引优质论文的产出和评选,加上合理评审机制的学术氛围,也能形成正向的反馈。因此,也有不少巨头或大公司研究院纷纷向 ICLR 投递论文,形成了良性循环。

以谷歌为例,在 ICLR 举办第一届时,谷歌投递了 10 篇论文,2014 年投递了 9 篇,2016 年也只是不温不火的 11 篇论文,而今年这个数字达到了 88 篇(包括与其它机构合作的论文)。

值得一提的是,两位组委会成员也不遗余力地支持 ICLR,LeCun 今年一口气向 ICLR2017 投递了五篇论文,而更猛的是 Yoshua Bengio,他投递了 16 篇论文。

回望 ICLR 的短短五年,在名人效应、合理机制及大牛背书的帮助下,ICLR一跃成为最为炙手可热的学术会议。有意思的是,第一届 ICLR 可能由于规模较小,当时是和 AISTATS 2013(第 16 届国际人工智能及统计会议)一同合办的,殊不知 ICLR 在短短五年间迅速成为深度学习领域无人不知的顶级会议,当真是今非昔比呀。雷锋网也将带来更多关于 ICLR 2017 的新闻,敬请关注。

贴标机价格

粪便粪污车

测振仪