课程简介
构建消息基础设施的第一步是选择合适的消息中间件技术。在这方面有很多选择,例如开源框架Kafka、Pulsar等。本次课程分享Plusar基础理论,专题理论,专项实现原理和演示及答疑五个模块介绍。
培训对象
架构工程师、运维工程师、测试工程师、对Pulsar感兴趣的人员。
课程周期
2天(12H)
课程大纲
第一天上午 | ◆ 讲师开场与自我介绍:10min | 3课时 |
◆ 1.Plusar基础理论-概念、架构、事务、effectively-once (2小时) 1.1 Plusar基础概念介绍:Flexible Pub-Sub Messaging backed by durable log Storage 定义:下一代分布式消息流平台、云原生消息系统、消息引擎、消息中间件、流处理平台 价值:消息处理缓冲、流量削峰填谷、异构系统解耦、消息流式计算 1.2 Plusar架构设计: 目标:一致性、高吞吐量、高可扩展性、高可用、持久化、流计算引擎 设计:Producer、Broker(Topic)、Segment(Bookie)、Consumer 高性能:网络模型、通信协议、队列模型、磁盘 IO、条带化写入 1.3 主流消息引擎对比分析:Pulsar VS Kafka VS ActiveMQ VS RabbitMQ 1.4 消息事务特性: 分布式事务XA与TCC、数据库事务与消息事务、幂等性与事务 1.5 消息传输保障:at most once、at least once、effectively-once(exactly once) 1.6 分布式基础理论:ACID、BASE、CAP(结合案例进行讲解) 1.7 分布式选举与共识算法: Bully、Raft、Paxos(结合案例进行讲解) |
◆ 2.Plusar专题理论+案例 (1小时) 2.1 理论:一致性Quorum算法原理精讲 2.4 案例:本地环境搭建 2.5 案例:生产消费实例 |
第一天下午 | ◆ 3.Pulsar专题理论精讲 (2小时) 3.1 Pulsar消息消费模型: producer-topic-subscription-consumer: 三种模式:独占订阅、故障切换、共享订阅 三种模式的选择、消息的确认、消息的保留 3.2 Pulsar Schema Registry 机制原理、生成方法、管理API、更新策略 3.3 Pulsar如何保证0拷贝、跨地域复制 基本简介、工作原理、管理实践、工作模式 | 4课时 |
◆ 4.Plusar专题理论精讲 (1小时) 4.1 分层分片架构、存储与计算分离、独立的扩展性、灵活的容错、快速扩容 无状态消息服务层 (Brokers) + 高可用分布式存储层 (Bookies) 4.2 逻辑分区、分区内在分片、分片:时间/大小、分片均匀存储到集群 4.3 灵活统一的消息API |
◆ 5.答疑 (1小时) 5.1 针对课前练习题问题进行答疑 (Plusar集群安装部署与客户端编程实践任务) 5.2 针对当天课程的内容进行答疑 |
第二天上午 | ◆ 前1天课程内容回顾:10min | 3课时 |
◆ 1. Plusar运维专题理论+案例 (1小时) 1.1 Pulsar集群搭建部署:failover、跨集群同步 1.2 Pulsar运维监控:无状态消息服务层 (Brokers) + 高可用分布式存储层 (Bookies) |
◆ 2. Plusar运维监控专题理论+案例 (2小时) 2.1 企业级Plusar运维实践:巡检、监控、参数调优、排障知识体系 2.2 自带监控工具:Pulsar Dashboard 2.3 主流监控工具:Pulsar + Prometheus + InfluxDB(OpenTSDB) + Grafana(Davinci) |
第二天下午 | ◆ 3. Plusar持久化专题理论+案例 (2小时) 3.1 BookKeeper存储设计:读写流程设计、一致性模型 | 4课时 |
◆ 4. Plusar高可用专题理论+案例 (1小时) |
◆ 5.答疑 (1小时) 5.1 针对课前练习题问题进行答疑(Plusar集群系统配置调优实践任务) 5.2 针对当天课程的内容进行答疑 |
|