本世纪先后崛起的概率图模型与深度学习这两种 AI 范式能够如何结合?

2016年7月30日 | By News | Filed in: 未分类.

Source: http://www.zhihu.com/question/48845169/answer/112997566?utm_campaign=rss&utm_medium=rss&utm_source=rss&utm_content=title

PGM和DL的结合已经有一些应用了,主要就是用DL来进行感知,PGM进行推断。具体应用时尽量以紧耦合方式将二者结合,即做到协同训练,这就涉及到了DL的贝叶斯化,在同一个框架下就可以协同训练了。

如下图的模型CDL(by Hao Wang),标红线部分是SDAE(降噪编码器),剩余部分是PMF(概率矩阵分解)。SDAE通过编码-隐藏表示-解码的方式用来学习物品的文本特征,将其反馈到PMF中约束物品隐式矩阵。

以下列举几篇自己看过的论文。

在推荐系统方面:

1. Restricted Boltzmann machines for collaborative filtering

2. Collaborative Deep Learning for Recommender Systems

3. Relational Stacked Denoising Autoencoder for Tag Recommendation

4. Towards Bayesian Deep Learning:A Survey

5. A Deep Embedding Model for Co-occurrence Learning

在计算机视觉方面:

6. Joint Training of a Convolutional Network and a Graphical Model for Human Pose Estimation

7. Joint Training of a Neural Network and a Structured Model for Computer Vision

另外,这几天在推荐领域看到了一篇新的文献CoFactor(Factorization Meets the Item Embedding: Regularizing Matrix Factorization with Item Co-occurrence),将矩阵分解MF和word embedding相结合,应该也可以算二者的结合(该篇还没有深入阅读)

至于未来发展,现在大火的模型RNN和CNN都还未贝叶斯化(待验证);将DL的参数当成概率图模型中的随机变量,自定义模型。

ps,以往都是看人答案,最近开始尝试自己编辑,欢迎大家指正和交流。

=====================================================

评论区有知友指出hinton早前提出的DBN就是二者的结合,认为从计算神经科学的角度,一个基本的假定就是perception=inference,我也表示赞同。

来源:知乎 www.zhihu.com

作者:知乎用户(登录查看详情)

【知乎日报】千万用户的选择,做朋友圈里的新鲜事分享大牛。
点击下载

此问题还有 5 个回答,查看全部。


Comments are closed here.