大数据平台架构实践
Merlin Zhao 查看讲师
百林哲咨询(北京)有限公司专家团队成员
现任某大型互联网公司大数据架构技术负责人。擅长分布式计算,分布式存储,大数据量处理引擎的优化,架构等相关技术。
浏览:2800次
详情 DETAILS

简介

大数据平台构建优化经验,大数据量引擎的选择,以及在olap引擎的经验,以及机器学习、深度学习基础平台的一些探索经验。对于实时流数据处理平台秒X平台的探索经验,大数据平台构建方法大同小异,但是平台构建以后也面临很多挑战,在面临这些挑战我们如何去克服、修复它,让平台更好满足用户需求,这就是本次主题的重点。下面是本次分享的内容章节,首先讲一下架构1.0与2.0,两者分别是怎么样的,从1.0到2.0遇到了哪些问题;第二部分讲一下数据平台,都有哪些数据平台,这些数据平台都解决什么问题;第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题;第四个简单讲一下在透明压缩方面的研究。

目标

专注于贝壳找房平台的数据平台的架构设计,在贝壳找房平台大数据架构中遇到的挑战与实践的经验。

成功要点

zfs技术的使用,kylin的优化经验 ,大数据olap平台的构建经验

启示

透明压缩的技术架构,olap平台引擎优化与选型,架构1.0与架构2.0的实践经验

受众人群

大数据工程师,DBA和开发技术骨干成员、开发技术负责人,研发经理和研发总监、研发架构师、DevOps资深工程师和技术负责人、技术创新团队的工程师

课程时长

1天(6H)

分享提纲

 

第一部分


  贝壳找房大数据平台的应用实践


第二部分

 

  透明压缩的研发背景


第三部分

 

  架构1.0与架构2.0


第四部分


  olap引擎的选型与效果



企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1