视频演讲: 大数据下的大表Join计算及其优化

2014年11月15日 | By News | Filed in: News.

http://ift.tt/1GWxwwA

在统计分析领域,数据分析人员经常要大范围数据查询。传统基于关系型数据库早已无法有效支持。大数据时代,Hadoop、流式处理等技术的出现,给问题解决带来一些曙光,但是动辄几百、上千台服务器的集群,不是任何公司都可以承受的,另外每次批任务都要等待数小时,甚至一天才能获得结果,也越来越无法满足业务敏捷的需求。
Bitmap是传统DB中一种索引技术,TalkingData对这种索引技术进行了改造和优化,解决了以下几个大数据计算的典型问题:
1、快速的多维交叉计算:多维度,大数据表交叉计算的难题。
2、​节省成本:小规模集群环境可以很好的支持大数据场景下的大表Join计算。​
3、线性增长:采用自适应的计算模型,解决数据倾斜,负载均衡等分布式计算的复杂问题,使计算能力线性增长。 By 周海鹏


Tags: ,

发表评论

电子邮件地址不会被公开。 必填项已用*标注