简介
大数据平台构建优化经验,大数据量引擎的选择,以及在olap引擎的经验,以及机器学习、深度学习基础平台的一些探索经验。对于实时流数据处理平台秒X平台的探索经验,大数据平台构建方法大同小异,但是平台构建以后也面临很多挑战,在面临这些挑战我们如何去克服、修复它,让平台更好满足用户需求,这就是本次主题的重点。下面是本次分享的内容章节,首先讲一下架构1.0与2.0,两者分别是怎么样的,从1.0到2.0遇到了哪些问题;第二部分讲一下数据平台,都有哪些数据平台,这些数据平台都解决什么问题;第三个介绍下当前比较重要的项目“olap引擎的选型与效果”以及遇到的一些问题;第四个简单讲一下在透明压缩方面的研究。
目标
专注于贝壳找房平台的数据平台的架构设计,在贝壳找房平台大数据架构中遇到的挑战与实践的经验。
成功要点
zfs技术的使用,kylin的优化经验 ,大数据olap平台的构建经验
启示
透明压缩的技术架构,olap平台引擎优化与选型,架构1.0与架构2.0的实践经验
受众人群
大数据工程师,DBA和开发技术骨干成员、开发技术负责人,研发经理和研发总监、研发架构师、DevOps资深工程师和技术负责人、技术创新团队的工程师
课程时长
1天(6H)
分享提纲
第一部分 | 贝壳找房大数据平台的应用实践 |
第二部分 |
透明压缩的研发背景 |
第三部分 |
架构1.0与架构2.0 |
第四部分 | olap引擎的选型与效果 |