简介
当前我们正处于一个数据经济时代，无论对于一线互联网企业，还是传统企业，对于内部累积的海量数据，都可以从中挖掘出对企业发展深有裨益的知识财富。对于数据挖掘工具而言，实时计算则更能紧跟当前实时数据动态变换，给出一些实时策略调整建议。相对实时计算而言，当前流行的计算工具以Storm(JStorm)、Spark Streaming、Flink为代表，诚然这些工具确实解决了很大部分实时计算需求，但对于一些传统企业或创业早期公司而言，如果也想解决实时计算需求，限于内部资源（人才和硬件）问题，则不见得就适合选择这些相对比较重量级框架（维护成本很高），就解决问题而言，如同架构设计或企业招聘一样，选择合适解决方案即可。
本次课程学习实时计算架构以及在个性化推荐中的使用，理论结合实践，并重点讲述案例，深入剖析架。并一同探讨如何满足贵企业的实时计算架构设计。
课程收益
1、全面了解实时计算原理、架构以及系统
2、理论知识与实践实例相结合，让实时计算架构更深刻
3、全年讲解计算平台，更加深刻了解实时计算平台
受众人群
系统架构师，开发，测试，运维，技术经理与总监
课程时长
2天（12H）
分享提纲
| 1. 实时计算原理及架构 | 1.1 实时计算应用日常案例 | 1.1.1 人体消化系统 1.1.2 服务实时监控 |
| 1.2 零基础构建实时计算系统 | 1.2.1 轻量级分布式实时计算架构设计 1.2.2 数据流实时接收 1.2.2.1 kafka 1.2.2.2 rabbitmq 1.2.3 数据流在计算节点间的流转 1.2.3.1 rpc 1.2.3.2 webservice 1.2.4 资源配置管理 1.2.4.1 服务监听、注册、发现 1.2.5 任务调度 1.2.5.1 定时任务管理 1.2.6 独立计算任务拆分及实现 1.2.6.1 map/reduce 1.2.6.2 fork/join | |
| 1.3 当前实时计算框架 | 1.3.1 storm/jstorm 1.3.2 spark streaming 1.3.3 light_drtc | |
| 2. 高可用实时计算平台 | 2.1 HA服务通用架构 | 2.1.1 shard 2.1.2 replica |
| 2.2 服务实时监控 | ||
| 2.3 无单节点风险 | ||
| 2.4 服务降级处理 | ||
| 2.5 网络缓存 | 2.5.1 memecache 2.5.2 redis 2.5.3 ssdb 2.5.4 bdb | |
| 2.6 本地缓存 | 2.6.1 guava cache | |
| 3. 实时计算在资讯个性化推荐系统中应用实例 | 3.1 资讯个性化推荐整体架构 | 3.1.1 整体框架 3.1.2 推荐服务流程 |
| 3.2 个性化推荐算法常用算法 | 3.2.1 内容相似 3.2.2 关联规则 3.2.3 协同过滤 3.2.4 主题模型 3.2.5 深度学习神经网络模型常用框架 | |
3.3 用户画像实时更新流程 | ||
| 4. HA搜索服务架构设计实例 | 4.1 搜索框架ES vs Solr | |
| 4.2 整体架构设计及实现 | 4.2.1 索引拆分 4.2.2 索引双写／双读 4.2.3 服务监控 4.2.4 故障自动转移 |
京ICP备2022035414号-1
