Pulsar应用实践
Baron 查看讲师
百林哲咨询(北京)有限公司专家团队成员
某大型通信集团大数据基础平台负责人,大数据架构师,10多年的软件研发项目经验,擅长分布式系统技术栈。
浏览:1157次
详情 DETAILS

课程简介

构建消息基础设施的第一步是选择合适的消息中间件技术。在这方面有很多选择,例如开源框架Kafka、Pulsar等。本次课程分享Plusar基础理论,专题理论,专项实现原理和演示及答疑五个模块介绍。 

培训对象

架构工程师、运维工程师、测试工程师、对Pulsar感兴趣的人员。

课程周期

2天(12H)

课程大纲

第一天上午

讲师开场与自我介绍:10min

3课时

1.Plusar基础理论-概念、架构、事务、effectively-once  (2小时)
   1.1 Plusar基础概念介绍:Flexible Pub-Sub Messaging backed by durable log Storage
         定义:下一代分布式消息流平台、云原生消息系统、消息引擎、消息中间件、流处理平台
         价值:消息处理缓冲、流量削峰填谷、异构系统解耦、消息流式计算
   1.2 Plusar架构设计:
         目标:一致性、高吞吐量、高可扩展性、高可用、持久化、流计算引擎  
         设计:Producer、Broker(Topic)、Segment(Bookie)、Consumer
         高性能:网络模型、通信协议、队列模型、磁盘 IO、条带化写入
   1.3 主流消息引擎对比分析:Pulsar VS Kafka VS ActiveMQ VS RabbitMQ
   1.4 消息事务特性:  分布式事务XA与TCC、数据库事务与消息事务、幂等性与事务
   1.5 消息传输保障:at most once、at least once、effectively-once(exactly once)
   1.6 分布式基础理论:ACID、BASE、CAP(结合案例进行讲解)
   1.7 分布式选举与共识算法: Bully、Raft、Paxos(结合案例进行讲解)

2.Plusar专题理论+案例  (1小时)
   2.1 理论:一致性Quorum算法原理精讲
   2.4 案例:本地环境搭建
   2.5 案例:生产消费实例

第一天下午

3.Pulsar专题理论精讲  (2小时)
   3.1 Pulsar消息消费模型: producer-topic-subscription-consumer:
       三种模式:独占订阅、故障切换、共享订阅
       三种模式的选择、消息的确认、消息的保留
   3.2 Pulsar Schema Registry
       机制原理、生成方法、管理API、更新策略
   3.3 Pulsar如何保证0拷贝、跨地域复制
       基本简介、工作原理、管理实践、工作模式

4课时

4.Plusar专题理论精讲  (1小时)
   4.1 分层分片架构、存储与计算分离、独立的扩展性、灵活的容错、快速扩容
       无状态消息服务层 (Brokers) + 高可用分布式存储层 (Bookies)
   4.2 逻辑分区、分区内在分片、分片:时间/大小、分片均匀存储到集群
   4.3 灵活统一的消息API

5.答疑   (1小时)
   5.1 针对课前练习题问题进行答疑 (Plusar集群安装部署与客户端编程实践任务)
   5.2 针对当天课程的内容进行答疑

第二天上午

前1天课程内容回顾:10min

3课时

1. Plusar运维专题理论+案例  (1小时)
   1.1 Pulsar集群搭建部署:failover、跨集群同步
   1.2 Pulsar运维监控:无状态消息服务层 (Brokers) + 高可用分布式存储层 (Bookies)

2. Plusar运维监控专题理论+案例 (2小时)
   2.1 企业级Plusar运维实践:巡检、监控、参数调优、排障知识体系   
   2.2 自带监控工具:Pulsar Dashboard   
   2.3 主流监控工具:Pulsar + Prometheus + InfluxDB(OpenTSDB) + Grafana(Davinci)

第二天下午

3. Plusar持久化专题理论+案例 (2小时)
   3.1 BookKeeper存储设计:读写流程设计、一致性模型

4课时

4. Plusar高可用专题理论+案例 (1小时)  

◆ 5.答疑   (1小时)
   5.1 针对课前练习题问题进行答疑(Plusar集群系统配置调优实践任务)
   5.2 针对当天课程的内容进行答疑



企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1