hadoop运行原理

 时间:2024-10-24 06:25:47

1、HDFS自动保存多个副本,移动计算。缺点是小文件存取占用namenode内存,写入只支持追加,不能随机修改。它存储的逻辑空间称为block,文围泠惶底件的权限类似linux。整体架构分三种节点,NN,SNN,DN NN 负责读写操作保存metadata(Ownership Permission blockin/p> SNN 负责辅助NN合并fsimage和edits,减少nn启动时间 DN 负责存数据,每个数据(文件)分割成若干block,每个block默认3个副本。启动后像NN发送心跳保持联系 NN保存的metadata在hdfs启动后加载到计算机内存,除block位置信息的metadata保存在OS文件系统中的fsimage文件中,对metadata的操作日志保存在OS文件系统中的edits文件中。block位置信息是hdfs启动后由DN上报NN再加载到内存的。 HDFS的安全模式:直到NN完全加载完metadata之前的这段时间。期间不能写入文件,DN检查各个block完整性,并修复。

hadoop运行原理
  • pytorch如何对两张图片进行预测?
  • win 10 系统下如何调出命令行
  • 在文件资源管理器电脑属性查看主路由器的IP地址
  • Android Studio如何开启循环滚动列表
  • mysql的ODBC驱动如何下载及安装
  • 热门搜索
    巴厘岛旅游价格 塞班岛旅游价格 成都有哪些旅游景点 千山旅游 嘉兴旅游网 石家庄旅游地图 旅游城市标志 关于旅游的名言 旅游资料 苏州东山旅游