• 向德荣寓言:农夫、青蛙与苍蝇(原创首发) 2019-05-19
  • 杭州教师史记体评语引热议 网友直呼有才、用心 2019-05-13
  • 晋世绘——黄河新闻网 2019-05-13
  • 河北:举报环境违法行为最高可奖励5万元 2019-05-05
  • 魏占军的专栏作者中国国家地理网 2019-05-02
  • 回复@老老保老张工:那边有个铁环,比较适合伪高工玩…… 2019-05-02
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-04-20
  • 让中国高铁领跑世界——我国高铁装备业唯一女总工程师梁建英 2019-04-19
  • eHub发布“鲁班”智能营销云 重塑智能时代的商业变革 2019-04-18
  • 拜博口腔医疗集团创始人、董事长黎昌仁获第十二届人民企业社会责任奖年度人物奖 2019-04-18
  • 巴川中学王苗:留守儿童长大了 2019-04-15
  • 真正学进去 积极讲出来 扎实做起来市委常委部门分别召开会议传达学习全国两会精神 2019-04-15
  • 实拍武汉万人“父母相亲会”  现场“摆摊”征婚 2019-04-13
  • 丸子-热门标签-华商生活 2019-04-13
  • 房奴!房奴!亚历山大幸福吗? 2019-04-06
  • HDFS--大数据应用的基石

    广东十一选5一定牛 www.aavbg.com  ,,。201852.5*10^18,90%。5G,。,。,,。

        ,,。、,。,,,、、、。。

     

        HDFS,,,,访。

        HDFS,、。HDFSGBTB,。访,HDFS。

     

        HDFSJava,,使master/slave,HDFSNameNodeDataNodes。NameNode,(namespace)访。DataNode,。HDFS,。HDFS,DataNode。DataNode,NameNode、。

     

    NameNode

    1. 

        ,、、。NameNode。

    2. 

        ,HDFS,。NameNode,DataNode(Blockreport),DataNode。

    3. 

        HDFS,,HDFS。HDFS(rack-aware)、。

        ,HDFS3,DataNodeid,,。,,。

    4. 

        NameNode,DataNode,,。(),NameNode退。

    5. (MetaData)

        。NameNode,HDFS;。

        a. ,、、、、、。

        b. ,、、Data Node 。

        c. HDFSData Node,Data Node。

        NameNode使EditLog,使FsImage(、)。NameNodeEditlogFsImage,EditlogFsImage,FsImage,Editlog,(checkpoint)。(BlockMap),4G。

        DataNode,,NameNode。

    6. 

        HDFSTCP/IP,TCPNameNode,ClientProtocolNameNode,DataNode使DataNodeProtocolNameNode。ClientProtocolDataNodeProtocol(RPC:Remote Procedure Protocol),NameNodeRPC,DataNodeRPC。

    7. 

        ,NameNode,DataNode(network partitions)。NameNodeZooKeeper,,NameNodeNameNode。DataNode,,NameNode,DataNode,。

    8. 

        DataNode,DataNode。

    9. 

        HDFS,DataNode,。

     

    SecondaryNameNode(SNN)

        SNNNameNode,,NameNode。NameNodeEditlogFsImage,,NameNode,NameNode使, 。

        SNN,CPUNameNode,线。SNNNameNode,NameNode,。

        SNN

    1. fs.checkpoint.period,3600s;

    2. fs.checkpoint.size,64MB。

     

        HDFS,?RPC--HDFS。

    posted @ 2019-04-20 10:11 北辰Root 阅读(...) 评论(...) 编辑 收藏
  • 向德荣寓言:农夫、青蛙与苍蝇(原创首发) 2019-05-19
  • 杭州教师史记体评语引热议 网友直呼有才、用心 2019-05-13
  • 晋世绘——黄河新闻网 2019-05-13
  • 河北:举报环境违法行为最高可奖励5万元 2019-05-05
  • 魏占军的专栏作者中国国家地理网 2019-05-02
  • 回复@老老保老张工:那边有个铁环,比较适合伪高工玩…… 2019-05-02
  • 【华商侃车NO.192】 亲!楼市火爆,别忘了买车位啊! 2019-04-20
  • 让中国高铁领跑世界——我国高铁装备业唯一女总工程师梁建英 2019-04-19
  • eHub发布“鲁班”智能营销云 重塑智能时代的商业变革 2019-04-18
  • 拜博口腔医疗集团创始人、董事长黎昌仁获第十二届人民企业社会责任奖年度人物奖 2019-04-18
  • 巴川中学王苗:留守儿童长大了 2019-04-15
  • 真正学进去 积极讲出来 扎实做起来市委常委部门分别召开会议传达学习全国两会精神 2019-04-15
  • 实拍武汉万人“父母相亲会”  现场“摆摊”征婚 2019-04-13
  • 丸子-热门标签-华商生活 2019-04-13
  • 房奴!房奴!亚历山大幸福吗? 2019-04-06