请选择 进入手机版 | 继续访问电脑版

热点推荐

查看: 30|回复: 0

HDFS原理分析及安装

[复制链接]
  • TA的每日心情
    开心
    15 小时前
  • 签到天数: 133 天

    [LV.7]常住居民III

    4346

    主题

    4356

    帖子

    1万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    16740
    发表于 5 天前 | 显示全部楼层 |阅读模式
    HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。
    1.1 HDFS有什么作用

    1)高容错:提供较高的容错率,因为数据有备份,通过机架感知策略,namenode会尽量将数据的复本放到不同的机架上,所以小规模的宕机不影响数据的存储。
    对于网络的就近原则,先近再远,如果有多个机架,会在多个机架建立副本。
    宕机:操作系统无法从一个严重系统错误中恢复过来,或系统硬件层面出问题,以致系统长时间无响应,而不得不重新启动计算机的现象。
    2)成本低:可以使用低成本的硬件搭建一个分布式文件系统。
    3)规模大:能提供大规模的数据存储,上TB、PB级的规模。
    4)高吞吐:高吞吐的数据访问,获得一个完整的数据可以从多个机器上同时读取。
    5)计算时数据读取的方式多采用本地化方式,如果本地化方式不满足则采用临近网络的方式,这也是通过机架感知策略。
    [图片上传失败...(image-a2fdbd-1581674922664)]
    机架感知策略的实现机制
    默认情况下,Hadoop机架感知是没有启用的,需要在NameNode机器的hadoop-site.xml里配置一个选项,例如:
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    快速回复 返回顶部 返回列表