腾讯云副总裁蒋杰:腾讯大数据将全面开源 向批流融合、ABC融合演进

2019-11-9 01:29| 发布者: 何必呢| 查看: 181| 评论: 0

摘要: 运营商财经网秦佰铃/文11月6日,腾讯Techo开发者大会期间,腾讯云副总裁、腾讯数据平台部总经理蒋杰接受了运营商财经网等媒体的采访,就云计算、大数据的发展前景以及当下腾讯大数据的发展布局做了解读。全部开源是 ...


运营商财经网 秦佰铃/文

11月6日,腾讯Techo开发者大会期间,腾讯云副总裁、腾讯数据平台部总经理蒋杰接受了运营商财经网等媒体的采访,就云计算、大数据的发展前景以及当下腾讯大数据的发展布局做了解读。

全部开源是为了回馈社区

对于将腾讯大数据全面开源,蒋杰表示,开源是为了更好的回馈社区,希望开源生态能有大的繁荣,也希望能有更多的开发者和团队能加入到这么一个生态来。

“这对腾讯来说也有好处”,蒋杰指出,一方面是能带给腾讯更大的平台影响力,吸引更多的开发者加入,另一方面是开源生态下,开发者共建能够让技术功能更加完善,更好的支撑到腾讯的业务。

据了解,腾讯大数据一直都在投入开源,在2017年就已经把第三代计算平台Angel开源出来了,到了2019年,新开发的Angel3.0平台也已开源,现在已经有像华为、小米、新浪微博等公司在使用这一平台。

此次在大会上,腾讯云宣布资源管理容器平台TKE和分布式数据库TBase也面向开发者开源。蒋杰表示,未来,还会开放漂移计算、联邦学习数据库等这样的能力。在其看来,这个开源的融合可以加入到更好的开源生态。

“将腾讯的大数据全面开源,是我们现在追求的一个方向。在整个腾讯云上至少有数百万开发者,我们希望更多的开发者能够参与我们,一起共建云的生态。”

未来腾讯大数据将向批流融合、ABC融合方向演进

据了解,目前腾讯的整个算力弹性资源池规模已经达到了20万台,每日运行数据任务有1500万,每日接入数据条数已经接近35万亿条,每日实时计算量达到30万亿次,可支持1万亿级别维度的模型训练。

蒋杰介绍,随着技术的不断演进,腾讯大数据正在由机器学习向批流融合、ABC融合方向演进,必须具备混合部署的能力,未来将形成数据湖和联邦学习架构演进。

腾讯大数据目前主要的发展方向是“大数据+AI”双引擎发展,深耕游戏、社交、金融、广告、内容等领域。

在数据采集方面,腾讯大数据团队在开始阶段主要引入和使用开源软件,经常会出现数据重复和数据丢包问题,后来自研了TubeMQ来解决,蒋杰进一步解释说,“从2013年到现在整整6年的时间,TubeMQ上的数据规模翻了几千倍,从百亿到35万亿”据蒋杰表示,这就要求解决十万亿规模数据消费的延时问题,“业务对我们的要求是5个毫秒,TubeMQ要在如此大规模之下达到平均5毫秒的延时要求,这对我们来说是巨大的挑战,我们通过软硬结合的技术来解决整个流程的畅通”。

开源带来的数据价值将为运营商提供强大助力

“开源本身并没有直接的商业价值,但间接带来的价值很大。”蒋杰表示,因为首先互联网公司最大的价值是人才,开源会聚集很多的人才,而研发和开发只有高端人才云集,才能做出高价值的产品,服务高价值的业务。

谈及开源给运营商的助力时,蒋杰指出,现在的运营商都在做云,包括电信、联通、移动在内,互联网公司做的云的架构,将对运营商本身的基础建设有很大的帮助。

“5G会带来非结构化数据大规模的增加,包括AI能力的实现,需要更多去寻找数据本身的价值,通过数据的价值去回填于运营商自身业务的发展。” 蒋杰介绍,腾讯云目前所有数据相关的动作,都是跟业务强关联的,有商业价值的,才有长期发展的空间。

运营商财经网(官方微信公众号tel_world)—— 主流财经媒体,一家全面覆盖科技、金融、证券、汽车、房产、食品、医药及其他各种消费品报道的原创资讯网站。


鲜花

握手

雷人

路过

鸡蛋