腾讯打破全球计算奥运4项纪录,98.8秒完成100TB数据排序

2016年11月10日 | By News | Filed in: 未分类.

Source: http://tech.qq.com/a/20161110/035955.htm

腾讯科技讯 11月10日,Sort Benchmark全球排序竞赛公布2016年最终成绩,腾讯云大数据联合团队用时不到99秒(98.8秒)就完成100TB的数据排序,打破阿里云去年创造的329秒的纪录。在更早前,百度创造的纪录是716秒,Hadoop的纪录是4222秒。

在这次竞赛中,腾讯云数智分布式计算平台,夺得Sort Benchmark大赛GraySort和MinuteSort的冠军,总共创造四项世界纪录,将去年阿里云的纪录整体提高2倍到5倍。

每年全球顶尖公司和学术机构都会来参加该赛事,以评估软硬件系统架构能力及最新研究成果。这项赛事包括四项比赛,腾讯云大数据联合团队参加的是含金量最高的GraySort和MinuteSort两项排序竞赛,重点评测大规模分布式系统的软硬件架构能力及平台的计算效率,以上两项比赛均包括Indy(专用目的排序)和Daytona(通用目的排序)两个子项。数智一举夺得上述四个子项的冠军,总体将去年的纪录提高2倍到5倍。

GraySort竞赛比拼的是如何在最短的时间内,将总共100TB,一共1万亿条无序的100字节纪录,按照从小到大的顺序进行排序。数智用时98.8秒完成100TB的数据排序,即每分钟完成60.7TB的数据排序,去年冠军的纪录为18.2TB/分钟。MinuteSort竞赛,比拼的是在1分钟之内能够完成多少数据量的排序。数智的成绩为1分钟完成55TB的排序,去年冠军的纪录是11TB,数智将这一数据量提升5倍。


Comments are closed here.