M1.2 HDFS分部式文件系统从原理到实践
John Yang 查看讲师
百林哲咨询(北京)有限公司专家团队成员
硅谷海归软件工程师、架构师,曾供职阿里巴巴云梯、飞天及计算平台任高级技术专家
浏览:1122次
详情 DETAILS

课程简介

利用并结合分布式架构,设计并构建存储海量数据的分布式文件系统。

课程收益

深入理解HDFS文件系统原理、设计理念,以及对应的使用场景。

受众人群

对架构感兴趣的人群

课程周期

1天(6H)

课程大纲

HDFS Hadoop分布式文件系统

 

什么是HDFS

架构及设计思想

Master: Namenode

Slaves: Datanode

DFSClient

 

HDFS存储原理

 

Data Blocks

FSImage

Meta Data 元数据

HDFS Federation

 

案例:使用HDFS存储海量日志

n启动HDFS

n配置HDFS

n读写和访问数据

n数据和导入导出据

 

案例:应对HDFS集群故障

 

重启集群和加载数据

应对数据结点的故障

如何实现HDFS的高可用HA

 

分布式集群小文件管理

小文件的危害

应对Namenode内存膨胀

HDFS Federation思路

合并小文件



企业服务热线:400-106-2080
电话:18519192882
投诉建议邮箱:venus@bailinzhe.com
合作邮箱:service@bailinzhe.com
总部地址:
北京市-丰台区-汽车博物馆东路6号3号楼1单元902-B73(园区)
全国客户服务中心:
天津市-南开区-桂苑路15号鑫茂集团鑫茂军民园1号楼A座802-803
公众号
百林哲咨询(北京)有限公司 京ICP备2022035414号-1