杏鑫注册开户

钢结构工程一体化施工20年(土建\钢结构\水电\外墙)施工经验

13063968696
0519-88713196

杏鑫注册开户钢结构工程

大数据开发之Federation架构设计

作者:杏鑫注册开户 阅读量: 2024-08-02
工程概述

大数据开发之Federation架构设计

  由于NameNode在内存中存储所有的元数据(metadata),因此单个NameNode所能存储的对象(文件+块)数目受到NameNode所在JVM的heap size的限制。50G的heap能够存储20亿(200million)个对象,这20亿个对象支持4000个DataNode,12PB的存储(假设文件平均大小为40MB)。随着数据的飞速增长,存储的需求也随之增长。单个DataNode从4T增长到36T,集群的尺寸增长到8000个DataNode。存储的需求从12PB增长到大于100PB。

  由于HDFS仅有一个NameNode,无法隔离各个程序,因此HDFS上的一个实验程序就很有可能影响整个HDFS上运行的程序。

  由于是单个NameNode的HDFS架构,因此整个HDFS文件系统的吞吐量受限于单个NameNode的吞吐量。

  Hadoop生态系统中,不同的框架使用不同的NameNode进行管理NameSpace。(隔离性)

  想要了解更多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  美国防部官员宣称中国“拒绝军控谈判”,中方此前驳斥:这一问题责任完全在美方!

  美媒:美国官员称,美国政府确信伊朗正准备袭击以色列,以报复哈尼亚被暗杀事件

  《黑色沙漠》CJ访谈:关于国服你所需要了解的一切/

  主站 商城 论坛 自运营 登录 注册 《黑色沙漠》CJ主创团队访谈:关于国服你所需要了解的一切 ...

  VCT冠军赛:Flashback单摸绕后四杀清点,DRX 2-1击败KRU

【本文标签】 杏鑫注册开户 杏鑫注册开户-杏鑫登录测速-杏鑫注册登录代理-百度推荐

【责任编辑】版权所有

咨询热线

13063968696
0519-88713196