视频演讲: 在spark上构建硬件加速的、分布式神经网络框架

2016年3月30日 | By News | Filed in: News.

Source: http://www.infoq.com/cn/presentations/building-hardware-accelerated-distributed-neural-network-framework-on-spark?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

最近几年,神经网络算法得到业界越来越多的关注。基于神经网络的深度学习在计算机视觉、语音识别和自然语言处理等方面都取得了良好的效果。已有的神经网络框架(如Caffee,Torch等)往往是单节点的方案并使用昂贵的GPU卡进行加速。我们基于Spark构建了一个分布式的神经网络算法框架,使用户能够方便的在通用计算平台上,利用神经网络算法进行大数据的机器学习。在易用性方面,我们将神经网络算法模块化,并实现了常用的数据结构、层、代价函数和训练算法等模块,使用户可以根据自己的需求快速定义出复杂的神经网络,以及灵活的添加替换自定义模块。我们还在通用计算平台上针对神经网络中的关键操作进行了优化,使得用户可以充分享用到硬件加速(例如CPU和GPU)的计算能力。

By 王奕恒


发表评论

电子邮件地址不会被公开。 必填项已用*标注