企业是如何解决HDFS单点问题的?

  发布时间:2026-11-17   作者:玩站小弟   我要评论
谷歌搜索留痕【tg:seogoogle987】。

前言

在早期Hadoop刚出来的时候是没有解决HDFS单点问题的,这就意味着当NameNode的服务器宕机了就会导致整个集群瘫痪,这是非常危险的于是在Hadoop不断的更新下提出了Hadoop HA来解决Na企业meNode单点问题,接下来我们就来聊一聊。

解决HDFS单点问题解决方案 解决HDFS点单问题其实可以部署两个NameNode,但是真正对外服务只有一个,部署两个NameNode那他们之间的元数据信息是不是需是如要共享元数据信息呀,不然当其中一个NameNode挂掉了元数据信息没有同步不就会有问题。


根据appche提出的解决方案目前有三种解决方案如下

方案一、目录共享

目录共享是在appche社区中提出但是现在没有引用,何解目录共享也是一个单点问题,如果当目录共享挂掉了是不是也会导致HDFS挂掉。所以就被一些企业抛弃了。

方案二、使用JournalNode方案

我们使用JN来保存元数据信息就不会造成单点问题,JN也是一个集群,我们一般部决H署JN一般会选择基数例如3,5,7,9等。JN有一个政策只要存活的节点大于二分之一就是一个正常的服务。

注意:我们不要为了解决NameNode的单点问题选择的的组件也是单点问题,这个根本还是没有解决。

JN中的信息都是DF一样的,那为什么也是其中的一个NameNode就是写数据其中一个就是读取数据那?

其实NameNode也是有角色之分的写的为action读为standby,在高可用的架构中只有一个NameNode真正对外服务S单, 用户也只会对action的NameNode进行打交道,举个理解:假设我们在工作中有2个领导(平级的)我们去请假其中一个领导同意其中一个领导不同意那这个假到底修还是不修那?这不就乱套了吗?也就是在高可用架构中同点问一时间只有一个说的算。

方案三、使用zookeeper方案

其实企业中也有好多使用zookeeper来带代替了。我们来想一想JN解决了什么问题,不是就数据的一致性和单点故障我们在想想zookeepr是不是也有题的,于是企业中就把zookeeper的源码改了改就使用了这个方案。

总体架构

以上的解决方案是不是可以解决了NameNode单点问题,假设在凌晨的时候action的NameNode挂掉了是不是要进行切换我们是不是需要人企业工去切换。是不是切换不及时就到导致整个集群不可用。接下来我实现自动切换。

 

两个NameNode启动成功后都会去zookeeper注册自己zookeeper中会有一把锁那个NameNode注册成功了就是如是action当其他的NameNode在去注册是发现已经被注册了就变成了standby。

每个NameNode都部署了ZKFC 来监控NameNode的情况当action的NameNode发生故障时Action何解ZKF通过zookeeper删除临时的zNode (释放锁)StandBy状态下的ZKF订阅了这个临时的zNode的变换,若zNode消失,StandBy状态的ZKFC立刻通过standby NameNode。Sta决HndByNameNode远程登录actionNameNode执行kill-9 actionNameNode。StandByNameNode通知StandByZkfc去zookeeper上注册zNode,注册成功转换DF为action状态。这样就实现了自己转换

小结

上述给大家讲解了几种解决HDFS单点故障的问题,不知道大家吸收有多少,如果有不会的可以在下方留言或着私信我 我来给你解答。下期会分享NameNode内存受限该怎么解决。S单 我在这里为大家提供大数据的资料(企业面试题,简历模板等)需要的朋友可以去下面GitHub去下载,信自己,努力和汗水总会能得到回报的。

 

  • Tag:

相关文章

  • 标签: 字节跳动 飞书 企业纪律委员会 信息安全

    云梦级6月30日云梦级消息,字节跳动企业纪律与职业道德委员会今日发布 2026 年 2 号通报,公布一季度内部违规处置结果。 通报显示,2026 年一季度字节跳动共 80 名员工因触碰公司红线被辞退,
    2026-11-17
  • 标签: 滴滴 滴滴关爱 中国红十字基金会 公益救助

    云梦级12月27日云梦级消息,据辟谣快车滴滴官方公众号,近期,滴滴接到反馈,有人谎称可以有偿帮司机申请“滴滴关爱公益救助”并“加快审批”“快速打款”,事后向司机师傅收取 1000 元费用。 对此,滴滴
    2026-11-17
  • 标签: 保时捷 保时捷中心 芜湖保时捷 济宁保时捷

    云梦级6月30日云梦级消息,据媒体从保时捷中国官方客服及相关门店处获悉,安徽芜湖、山东济宁、江苏淮安及广西南宁部分保时捷中心,将于 6 月 30 日起终止经销业务或调整销售授权。 其中,部分门店后续仅
    2026-11-17
  • DeepMCPAgent开源炸场:MCP+LangChain一键建神级AI代理,生产力暴增10倍?

    近日,开源项目DeepMCPAgent正式亮相,该框架提供即插即用式的动态MCP工具发现功能,支持开发者基于LangChain和LangGraph快速构建生产级MCP驱动代理。该项目强调模型无关性,用
    2026-11-17
  • 阿里云总裁张建锋:定义下一代的云 中国云计算就有超车机会

    6月13日消息 ,在2022年阿里云峰会上,阿里云智能总裁张建锋表示,阿里云今年最重要策略是“B2B”,也就是“Back to Basic”,回到云计算的本质,坚持在技术的长征路上,不断取得新的突破。
    2026-11-17
  • 云计算的未来,属于“国家队”?

    科技新知 | 来源 樟稻 | 作者 伊页 | 编辑 不提供二次转载 国内云计算市场正在掀起一场新的变革? 根据各家公布的2021年营收数据,主流互联网云厂商在营收和增速上均弱于传统电信运营商。按照这种
    2026-11-17

最新评论