阿里云计算能力实现多项突破 BigBench规模全球首次被拓展至100TB

10月12日，阿里巴巴集团副总裁周靖人在云栖大会上发布了阿里云在大数据计算能力上的新突破：将BigBench数据规模扩展到100T；流计算2.0每秒峰值达千万QPS，整体链路延时亚秒级；E-MapReduce对比同类产品平均性能提升3倍。

周靖人说，数据是机器智能创新的基础，拥有充沛的计算能力才能全面释放数据的价值。我们希望通过不断的释放阿里云的计算红利，帮助开发者抓住更多市场机遇。

BigBench全球首次达到100TB

TPCx-BigBench是大数据端到端真实复杂的业界领先测试基准，目前，TPC官网公布的测试最大规模为10TB，最佳性能是1491.23BBQpm。

当天，阿里云与Intel合作，在最新的Intel硬件上，基于公共云发布的BigBench On MaxCompute+PAI，全球首次将规模拓展到100TB，达到7000 BBQpm，也是首个基于公共云服务的Benchmark。

据介绍，大会结束后，MaxCompute会在公共云开放一个月的测试环境，并开源BigBench On MaxCompute+PAI的SDK（继承自TPCx-Bigbench，并使之运行在阿里云的大数据环境上），供开发者验证试用。

在规模上的优秀表现，得益于MaxCompute的海量数据处理能力和机器学习算法高效性，MaxCompute基于阿里云自主研发的分布式操作系统飞天，单集群服务器规模可以达到万台以上，数据规模达到EB级。

在性能上，MaxCompute新一代处理引擎从Compiler、Optimizer、Runtime等模块进行的持续深度优化。此外，MaxCompute与Intel开展深度合作，软硬结合深度优化。

英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔至强可扩展处理器平台上对MaxCompute进行深度优化，并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

更快的流计算StreamCompute 2.0

在流计算方面，周靖人透露将于10月底在公共云发布新的版本。StreamCompute 2.0基于Apache Flink，并为开源社区提供了大量阿里内部的改进和优化。

新版流式计算2.0的特点包括：

1. 高吞吐低时延处理能力，单作业峰值达数千万的QPS，相比于StreamCompute 1.0有10+倍提升

2. SQL化的流式分析语言，由阿里巴巴计算事业部实时计算团队主导开发并回馈社区的BlinkSQL；BlinkSQL支持完备的流式处理语义，支持包括多种窗口、乱序容忍、完整DDL支持

3. 精准的数据处理语义，提供Exactly-once处理语义，同时为减少磁盘IO，提供增量CheckPoint，优化存储空间。

E-MapReduce性能3倍提升

E-MapReduce产品是阿里云上基于开源大数据的云服务产品，包括15+个开源组件的一站式大数据解决方案。周靖人现场发布了基于本地硬盘以及计算存储分离的大数据解决方案。

周靖人介绍，为了解决大数据处理以及机器学习的统一调度难题，E-MapReduce产品实现了CPU/GPU的混合调度方案，使得数据预处理以及数据训练可以在一个平台上解决。

E-MapReduce对于数据读写的性能至关重要，产品通过对于对象存储OSS的优化，使得读写OSS的性能是同类产品的3倍，对于计算和存储分离的大数据解决方案的产品化形式变得可以落地。

编辑 | 码哥

图片源于网络，版权归原作者所有

最后更新：2017-10-18 21:30:41