披露大数据平台技术演进历程:14次升级 每日数据计算量超30万亿

作者:admin发表于:2020-01-14

  11月6日音讯,在Techo开发者大会上,腾讯云副总裁、腾讯数据渠道部总经理蒋杰正式对外发表腾讯大数据渠道10年技能演进进程。

  腾讯云副总裁、腾讯数据渠道部总经理蒋杰

  蒋杰指出,经过10年的堆集,腾讯大数据渠道的算力资源池现在已有超越20万台的规划,每天实时数据核算量超越30万亿条。并且每天数据接入条数达35万亿条数据。此外,腾讯云的分布式机器学习渠道,能支撑1万亿维度的数据练习。

  据介绍,能支撑如此大规划数据的接入和运算,是腾讯在大数据技能范畴超越10年的堆集,其中心的大数据渠道现已完成了三次迭代。从以Hadoop为中心的离线核算年代到以Spark、Storm、Flink为中心的实时核算年代,再到现在的机器学习和深度学习年代,腾讯从无到有研发了分布式的机器学习引擎Angel,以及一站式AI开发渠道智能钛TI,用来处理数据练习和算法的问题。

  2015年头,腾讯开端自研高性能的分布式机器学习渠道Angel,选用PS架构,能支撑10亿维度。现在Angel发展到3.0版别,能支撑万亿维度,也能够兼容Spark、PyTorch、TensorFlow等生态,进一步降低了运用门槛。此外,Angel本年还新增了对深度学习、图核算等的支撑。

  现在,腾讯正在研讨以批流交融、ABC交融、以及数据湖和联邦学习为方向的下一代大数据渠道的研讨,该渠道将具有混合布置、跨域数据同享和边际核算等才能。

  技能迭代不断加快,企业建造大数据渠道和机器学习渠道,不只本钱昂扬,并且缺少相应的专业人才,面对种种问题。

  现在,腾讯现已把网络、存储、数据库等IaaS才能,大数据、机器学习等PaaS的才能,以及上层的图画、语音、NLP、BI等SaaS才能,经过腾讯云对外敞开。在大数据和AI两个范畴,腾讯推出了以TBDS和智能钛TI为首的双引擎。让每个企业,不需要专业的大数据和AI团队,也能快捷用上抢先的大数据和AI的才能。

  别的,腾讯也经过开源和广阔开发者同享技能成果。从2014开端,将第一代渠道的中心,腾讯版的Hive进行了开源,2017年,更是把第三代渠道的中心Angel开源。本年,腾讯加快了开源的脚步,在内部推开源协同的战略推进下,腾讯一切的技能栈,后续会越来越敞开。

  此次在Techo大会现场,腾讯宣告正式开源资源管理渠道中心TKE和分布式数据库TBase。两个月前,腾讯在ApacheCon2019上,面向全球开发者正式宣告开源本身中心渠道——实时数据收集渠道TubeMQ,并捐献给Apache社区。