课程简介

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切。传统离线数仓的数据时效性是 T+1，调度频率以天为单位。即使能将调度频率设置成小时，还是无法很好地支持对数据实效性要求较高的场景。

字节在业务开展过程中，随着抖音、头条、Tiktok、西瓜视频等业务的快速发展，数据急剧膨胀，原有架构受到日趋复杂的业务需求、存储成本的挑战越来越大，同时数据产出时效性、数据分析灵活性的高要求，也带来更大的矛盾。为此，字节跳动采用Iceberg解决海量特征存储难题，以及采用云原生实时数仓，配以各类深度优化技术，解决业务上的诸多痛点。

本次分享将着重介绍字节跳动在云原生实时数仓上的探索和实践，包括遇到的难题和解决思路。以及最终字节跳动基于HSAP 实现的云原生实时数仓解决方案和技术细节。 

课程收益

1、目标

（1）云原生实时数仓在字节跳动的探索与实践；

（2）字节跳动基于HSAP的云原生实时数仓解决方案。

2、成功要点

（1）引入Iceberg，解决海量特征存储难题；

（2）使用HSAP作为云原生实时数仓的引擎，通过云原生技术，实现存算分离，可以更好的满足计算与存储的弹性需求；

（3）多重优化手段并用：高效的分布式查询框架、Cache Everything、向量化引擎、硬件加速等，实现快速查询分析。

3、启示

（1）字节跳动云原生实时数仓解决方案在直播系统的实践，应用在今日头条、抖音等产品更精准地服务用户；

（2）最大规模云原生实时数仓集群实践，孵化开箱即用企业级云原生实时数仓平台，提供 Serverless 极致弹性。 

受众人群

云原生架构师、实时数仓服务从业者、数据存储/计算相关数据分析师以及其他对云原生实时数仓感兴趣的人员。

课程周期

0.5天（3H）

课程大纲