大数据系统-HDFS面试题

HDFS为什么适合大文件？

因为：

• Block机制
• 顺序读写

减少元数据

HDFS为什么不适合小文件？

1KB 文件也要记录：

• 文件信息
• Block信息
• 位置映射

并且存到 NameNode 内存

如果 1 亿个小文件，NameNode 内存爆炸，这叫 Small File Problem

为什么NameNode不存数据？

如果存数据，所有流量都经过NameNode，立刻成为瓶颈，所以设计成：

• NameNode → 管理
• DataNode → 存储

控制流与数据流分离