每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

栏目: 数据库 · 发布时间: 5年前

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

”每周一起读“是由 PaperWeekly 发起的论文共读活动 ,我们结合自然语言处理、计算机视觉和机器学习等领域的顶会论文和前沿成果来指定每期论文,并且邀请论文作者来到现场,和大家展开更有价值的延伸讨论。

我们希望能为 PaperWeekly 的各位读者带来一种全新的论文阅读体验、一个认识同好、找到组织的契机、一次与国际顶会论文作者当面交流的机会。

6 月 5 日(周三)晚 7 点半 ,“每周一起读”将邀请 清华大学计算机系博士生刘畅 ,和大家分享他发表于机器学习国际会议 ICML 2019 的两篇最新文章。

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

01

# 本 期 嘉 宾

刘畅  

清华大学计算机系博士生

刘畅,清华大学计算机系博士生,从事统计机器学习方向研究,导师为朱军教授。他于 2014 年在清华大学物理系取得理学学士学位,博士期间曾在杜克大学访学一年。他的研究兴趣主要在贝叶斯推理方法以及利用几何结构的机器学习方法。他在机器学习国际会议 ICML, NeurlPS, AAAI 等上发表了数篇论文。

02

# 本 期 论 文

ICML 2019  

Abstract: Particle-based variational inference methods (ParVIs) have gained attention in the Bayesian inference literature, for their capacity to yield flexible and accurate approximations. We explore ParVIs from the perspective of Wasserstein gradient flows, and make both theoretical and practical contributions. We unify various finite-particle approximations that existing ParVIs use, and recognize that the approximation is essentially a compulsory smoothing treatment, in either of two equivalent forms. This novel understanding reveals the assumptions and relations of existing ParVIs, and also inspires new ParVIs. We propose an acceleration framework and a principled bandwidth-selection method for general ParVIs; these are based on the developed theory and leverage the geometry of the Wasserstein space. Experimental results show the improved convergence by the acceleration framework and enhanced sample accuracy by the bandwidth-selection method.

Abstract:  It is known that the Langevin dynamics used in MCMC is the gradient flow of the KL divergence on the Wasserstein space, which helps convergence analysis and inspires recent particle-based variational inference methods (ParVIs). But no more MCMC dynamics is understood in this way. In this work, by developing novel concepts, we propose a theoretical framework that recognizes a general MCMC dynamics as the fiber-gradient Hamiltonian flow on the Wasserstein space of a fiber-Riemannian Poisson manifold. The “conservation + convergence” structure of the flow gives a clear picture on the behavior of general MCMC dynamics. The framework also enables ParVI simulation of MCMC dynamics, which enriches the ParVI family with more efficient dynamics, and also adapts ParVI advantages to MCMCs. We develop two ParVI methods for a particular MCMC dynamics and demonstrate the benefits in experiments.

03

# 活 动 信 息

时间: 6 月 5 日(周三) 19:30–21:00

地点: 北京智源人工智能研究院四层报告厅

北京市海淀区中关村南大街1-1号 

中关村领创空间(信息谷)

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

04

# 如 何 报 名

长按识别二维码,即刻 报名:point_down:

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

报名截止日期: 6  月 5 日(周三)12:00

* 场地人数有限,报名成功的读者将收到包含电子门票二维码的短信通知,请留意查收。

注意事项:

* 如您无法按时到场参与活动,请于活动开始前 24 小时在 PaperWeekly 微信公众号后台留言告知,留言格式为 放弃报名 + 报名电话 ;无故缺席者,将不再享有后续活动的报名资格。

05

# 往 期 回 顾

1 / 扫码关注

扫码关注 PaperWeekly :point_down:

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

 2  / 回复暗号  

在后台回复 “每周一起读 即可查看 往期实录

06

# 加 入 我 们

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

07

# 主 办 单 位

PaperWeekly

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

清华大学计算机科学与技术系

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

北京智源人工智能研究院

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

:mag:

现在,在 「知乎」 也能找到我们了

进入知乎首页搜索 「PaperWeekly」

点击 「关注」 订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域,欢迎在公众号后台点击 「交流群」 ,小助手将把你带入 PaperWeekly 的交流群里。

每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法

▽ 点击 |  阅读原文   | 立刻报名


以上所述就是小编给大家介绍的《每周一起读 #02 | ICML 2019:基于粒子的变分推断加速方法》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

刘大猫的财富之旅

刘大猫的财富之旅

刘欣、刘大猫 / 新华出版社 / 2017-7-21 / 58.00元

作者刘大猫是一名90后的互联网连环创业者,26岁的他通过互联网创业收获到了财富,不仅仅是物质财富,还有认知的财富。 与其他创业类书籍不通的是,这本书非常真实,务实。书中没有任何大道理鸡汤,作者用平实的语言记录了创业以来遇到的种种事情,变化,困境,以及阶段性的成绩,记录了作者务实,鲜活的创业青春。一起来看看 《刘大猫的财富之旅》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

随机密码生成器
随机密码生成器

多种字符组合密码