请选择 进入手机版 | 继续访问电脑版

热点推荐

查看: 71|回复: 1

HDFS原理分析及安装

[复制链接]
  • TA的每日心情
    开心
    昨天 16:10
  • 签到天数: 286 天

    [LV.8]以坛为家I

    3万

    主题

    3万

    帖子

    10万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    103904
    发表于 2020-2-14 19:42:16 | 显示全部楼层 |阅读模式
    HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。
    1.1 HDFS有什么作用

    1)高容错:提供较高的容错率,因为数据有备份,通过机架感知策略,namenode会尽量将数据的复本放到不同的机架上,所以小规模的宕机不影响数据的存储。
    对于网络的就近原则,先近再远,如果有多个机架,会在多个机架建立副本。
    宕机:操作系统无法从一个严重系统错误中恢复过来,或系统硬件层面出问题,以致系统长时间无响应,而不得不重新启动计算机的现象。
    2)成本低:可以使用低成本的硬件搭建一个分布式文件系统。
    3)规模大:能提供大规模的数据存储,上TB、PB级的规模。
    4)高吞吐:高吞吐的数据访问,获得一个完整的数据可以从多个机器上同时读取。
    5)计算时数据读取的方式多采用本地化方式,如果本地化方式不满足则采用临近网络的方式,这也是通过机架感知策略。
    [图片上传失败...(image-a2fdbd-1581674922664)]
    机架感知策略的实现机制
    默认情况下,Hadoop机架感知是没有启用的,需要在NameNode机器的hadoop-site.xml里配置一个选项,例如:
    回复

    使用道具 举报

    该用户从未签到

    4

    主题

    56

    帖子

    116

    积分

    注册会员

    Rank: 2

    积分
    116
    发表于 2020-3-25 12:19:28 | 显示全部楼层
    广告位,,坐下看看
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    快速回复 返回顶部 返回列表