全部课程
hdfs的优缺点
发布时间: 2023-01-30
HDFS的优点:
高容错性。提供了容错和恢复机制,副本丢失后,自动恢复。
高可靠性。数据自动保存多个副本,通过多副本提高可靠性。
适合大数据处理。可以处理超大文件,比如 TB级甚至PB级 的文件。
适合批处理。移动计算而非移动数据;数据位置暴露给计算框架。
支持流式数据访问。一次性写入,多次读取(一个数据集一旦生成,就会被复制分发到不同的存储节点,各节点可以进行读取/访问);保证数据一致性。
低成本运行。可以运行在低成本的硬件之上。
HDFS的缺点:
不适合处理 低延迟 的数据访问。比如用户 要求时间比较短 的低延迟应用(主要处理高数据吞吐量的应用)。
不适合处理 大量的小 文件。会造成寻址时间超过读取时间;会占用NameNode大量内存,因为NameNode把文件系统的元数据存放在内存中(文件系统的容量由NameNode的大小决定),小文件太多会消耗NameNode的内存。
不适合 并发写入。一个文件只能有一个写入者,HDFS暂不支持多个用户对同一个文件的写操作。
不适合 任意修改 文件。仅支持append(附加),不支持在文件的任意位置进行修改。
上一篇: hdfs中block默认保存几份