大数据日报2016-01-15 干货:大数据采集平台的架构分析 等18条

2016年1月16日 | By News | Filed in: News.

Source: http://bd.memect.com/archive/2016-01-15/long.html

干货:大数据采集平台的架构分析

来自 @英特尔商用频道 好东西传送门整理

关键词:分析, Splunk

【干货:大数据采集平台的架构分析】随着大数据越来越被重视,数据采集成为了挑战!今天,道长为大家分析一下Apache Flume、Fluentd、Logstash、Chukwa、Scribe、Splunk Forwarder这几个数据采集平台,一起来看看它们是如何做到高可靠,高性能以及高扩展的。 [1] [1] http://www.36dsj.com/archives/39854

干货:大数据采集平台的架构分析

如何使用 Docker、ECS、Terraform 重建基础架构?

来自 @segmentfault:OneAPM蓝海讯通 好东西传送门整理

关键词:虚拟化, Docker, 容器

【如何使用 Docker、ECS、Terraform 重建基础架构?】早期 Segment 基础架构普遍组合在一起。我们通过 AWS 界面设定实例,使用许多闲散的 AMI,并且采用三种不同的部署方式。 然而随着商业的飞速发展,工程师团队的规模不断扩大,基础架构的复杂度也不断提高。提高生产效率的方法仍旧只在一小部分人中间传播,虽然生产效率在不断提高,但是如果想一直保持高速增长,还要全面修整基础架构。 因此,几个月前,我的团… [1] [1] http://segmentfault.com/a/1190000004313351

如何使用 Docker、ECS、Terraform 重建基础架构?

对比Pig、Hive和SQL,浅看大数据工具之间的差异

来自 @大数据资讯 好东西传送门整理

关键词:分析, 计算框架, 数据库, Hadoop

【对比Pig、Hive和SQL,浅看大数据工具之间的差异】有人说对于大数据分析来说Hadoop才是炙手可热的新技术,SQL虽然久经考验但已经有些过时了。这话说得不错,但有非常多的项目都用Hadoop作为数据存储,而以SQL构建前端查询,这说明Hadoop确实需要一种高级的查询语言。 [1] [1] http://www.thebigdata.cn/QiTa/28925.html

经典大数据架构案例:酷狗音乐的大数据平台重构

来自 @InfoQ 好东西传送门整理

【经典大数据架构案例:酷狗音乐的大数据平台重构】本文是酷狗音乐的架构师王劲对酷狗大数据架构重构的总结。讲解了对原来的架构上进行重构的工作内容,总共分为重构的原因、新一代的大数据技术架构、踩过的坑、后续持续改进四个部分来给大家谈酷狗音乐大数据平台重构的过程。 [1] [1] http://www.infoq.com/cn/articles/kugou-big-data-platform-restructure

经典大数据架构案例:酷狗音乐的大数据平台重构

不同的瑞士军刀:对比 Spark 和 MapReduce

来自 @伯乐在线官方微博 好东西传送门整理

关键词:计算框架, Hadoop, MapReduce, Spark

《不同的瑞士军刀:对比 Spark 和 MapReduce》Apache 基金会的 Spark 再次引爆大数据的话题。带着比 Hadoop MapReduce 速度要快 100 倍的承诺以及更加灵活方便的 API,一些人认为这或许预示着 Hadoop MapReduce 的终结。 [1] (古月水语 译,欢迎加入翻译组: [2] ) [1] http://blog.jobbole.com/97150/

[2] http://group.jobbole.com/category/feedback/trans-team/

不同的瑞士军刀:对比 Spark 和 MapReduce

完整版

点此链接查看全部18条:http://bd.memect.com/archive/2016-01-15/long.html


发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注