简介
业内广告系统中常用的离线计算和实时计算技术,大数据在广告系统中的具体应用以及各个大数据工具组建之间的协调同步应用实践。广告系统中所涉及到的hadoop,spark,hive,elasticsearch,druid等常见技术的应用规模和应用场景,如spark在系统计费环节,数据流处理环节的具体实践,hive在数据仓库中的数据分层建模,以及如何将应用维度数据导入在线查询引擎es druid,如何选定合理的数据聚合方式。然后还讲解到es druid的存储原理,行式存储和列式存储的区别。分享内容从基础使用到原理讲解,从系统架构到技术细节,从宏观概括到原理认识。
目标
构建一套广告系统中的大数据服务平台;
优化离线计算的数据产出流程,减少计算时间,优化用户体验,增强实时计算的服务稳定性可扩展性,防止维度爆炸数据激增带来的安全隐患;
可以对业内广告系统中的大数据应用有个整体认识。
受众人群
初级开发工程师、大数据工程师
课程时长
1天(6H)
分享提纲
基于大数据使用平台计算技术展现如下实例
第一部分 | Hadoop |
第二部分 | Spark |
第三部分 | Hive |
第四部分 | ElasticSearch |
第五部分 | Druid |