基于Flink搭建流计算平台
John Yang 查看讲师
百林哲咨询(北京)有限公司专家团队成员
硅谷海归软件工程师、架构师,曾供职阿里巴巴云梯、飞天及计算平台任高级技术专家
浏览:1643次
详情 DETAILS

课程简介

本课程的大纲设置,注重的是Flink基础和核心技术的梳理和掌握,之后会对其中几个重要的技术点做深入分析。针对企业内训的需求,我们对大纲的设置,特别增加了学以致用的实战环节,让企业学员能够在学习完Flink技术知识后,具备将Flink应用到实际生产环境中的能力,通过短时间的技术学习,为公司创造价值和提高技术生产的效率。

此课程共两天,第一天为Flink的基础和进阶技术知识点,以及第一个实战项目。第二天为Flink的高级技术知识点,包含了第二个实战项目。

课程周期

2天(12H)

课程大纲

流式处理架构

1.1 流式处理背景及架构介绍

1.2 流式处理行业案例以及Flink的适用场景及应用概述

Flink概述

2.1 什么是Flink

2.2 Flink架构

2.3 Flink 与 Spark的比较以及为什么选择Flink

2.4 Flink开发环境配置和搭建

Flink编程模型

3.1 数据集类型

3.2 Flink编程接口

3.3 Flink程序结构

3.4 Flink数据类型

DataStream API介绍与使用

4.1 DataStream编程模型

4.2 Flink Execution 参数

4.3 Transformation

4.4 时间概念与Watermark

4.5 Windows窗口计算

4.6 作业链和资源组

4.7 Asynchronous I/O异步API

4.8 Asynchronous I/O异步原理

Flink Connector数据源

5.1 FlinkKafkaSource序列化、消费模式

5.2 FlinkKafkaSource容错、动态分区及topic

5.3 FlinkKafkaSink序列化、配置、分区与容错

5.4自定义Source和Sink

DataSet API介绍与使用

6.1 DataSet API,Transformation

6.2 迭代计算

6.3 广播变量与分布式缓存

6.4 语义注解

6.5 DataSetUtils工具类

Table API & SQL介绍与使用

7.1 TableEnviroment概念

7.2 Flink Table API

7.3 Flink SQL使用

7.4 自定义函数

7.5 自定义数据源

两个完整的Flink实现案例

8.1 Kafka 数据流处理,写入HDFS

8.2多源数据关联与聚合分析

Flink有状态的计算、状态管理和容错

9.1 什么是有状态计算

9.2 有状态计算中的数据一致性挑战

9.3 理解state状态

9.4 Operator State 的使用及Redistribute

9.5 Keyed State的使用与Redistribute

9.6 Broadcast State的妙用

9.7 Checkpoint核心原理剖析

9.8 Checkpoint使用条件及使用步骤

9.9 Checkpoint相关配置及重启策略

9.10 Savepoint的触发、Job恢复及删除

实战项目1:用Flink实现一个通用、配置化的海量数据流、批处理产品

10.1实现配置管理

10.2实现数据源加载

10.3实现主流程控制

10.4实现任务管理

Flink部署与应用

11.1 Flink集群部署

11.2 Flink高可用配置

11.3 Flink安全管理

11.4 Flink集群升级

11.5 Flink on Yarn的原理和运行方式

11.6 Flink on Yarn 提交任务与停止任务

Flink监控与性能优化

12.1 监控指标

12.2 Backpressure监控与优化

12.3 Checkpointing监控与优化

12.4 Flink内存优化

Flink组件栈介绍与使用

13.1 Flink复杂事件处理

13.2 Flink Gelly图计算应用

13.3 FlinkML机器学习应用

13.4 Flink Metrics 与监控

Flink源码学习

14.1 Flink源码编译

14.2 如何阅读和学习Flink源码

14.3 Flink源码实现思路以及依赖管理

14.4 Flink核心模块源码带读与分析

Flink在各大互联网公司的典型应用剖析

14.1Flink在阿里的应用

14.2Flink在字节跳动的应用

14.3Flink在腾讯的应用

14.4Flink在微博的应用

14.5Flink在其他互联网公司的应用

14.6Flink 最佳实践

实战项目2:使用Flink实现电商用户支付行为分析和审计风控

15.1电商支付数据模型(订单,流水,账户余额,发现表)

15.2用户行为分析需求与维度指标设计

15.3审计风控的需求与实现思路

15.4Flink代码实现结构与业务逻辑细节拆解


企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1