prince的文章

MapReduce – Mapper 主要是读取InputSplit的每一个Key,Value对并进行处理 public class Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT> { /** ...

赞(0)princeHadoop 教程 阅读(245)

MapReduce – 读取数据 通过InputFormat决定读取的数据的类型，然后拆分成一个个InputSplit，每个InputSplit对应一个Map处理，RecordReader读取InputSplit的内容给Map InputF...

赞(0)princeHadoop 教程 阅读(258)

YARN – Failover 失败类型 1、 程序问题； 2、 进程崩溃； 3、 硬&#x#x4EF6;问题 失败处理 任务失败 1、 运行时异常或者JVM退出都会报告给ApplicationMaster； 2、 通过心跳来检查挂...

赞(0)princeHadoop 教程 阅读(234)

YARN – Container 1、 基本的资源单位（CPU、内存等）； 2、 Container可以加载任意程序，而且不限于Java； 3、 一#x4E2A;Node可以包含多个Container，也可以是一个大的Container 4...

赞(0)princeHadoop 教程 阅读(248)

YARN – ApplicationMaster 单个作业的资源管理和任务监控 具体功能描述#x8FF0;： 1、 计算应用的资源需求，资源可以是静态或动态计算的，静态的一般是Client申请时就指定了，动态则需要ApplicationMa...

赞(0)princeHadoop 教程 阅读(254)

YARN – NodeManager Node节点下的Container管理 1、 启动时向ResourceManager注册并定时发&##x9001;心跳消息，等待ResourceManager的指令 2、 监控Container...

赞(0)princeHadoop 教程 阅读(228)

YARN – ResourceManager 负责全局的资源管理和任务调度，把整个集群当&##x6210;计算资源池，只关注分配，不管应用，且不负责容错 资源管理 1、 以前资源是每个节点分成一个个的Mapslot和Reducesl...

赞(0)princeHadoop 教程 阅读(250)

HDFS – 命令工具 fsck: 检查文件的完整性 start-balancer.sh: 重新平衡HDFS hdfs dfs -copyFromLocal 从本地磁盘复制文&#x#x4EF6;到HDFS

赞(0)princeHadoop 教程 阅读(259)

HDFS – 可靠性 1、 DataNode可以失效； DataNode会定时发送心跳到NameNode。如果ղ\#x5728;一段时间内NameNode没有收到DataNode的心跳消息，则认为其失效。此时NameNode就会将该节点的数...

赞(0)princeHadoop 教程 阅读(252)

HDFS – 读文件 1、 客户端向NameNode发送读取请求； 2、 NameNode#x8FD4;回文件的所有block和这些block所在的DataNodes（包括复制节点） 3、 客户端直接从DataNode中读取数据，如果该Da...

赞(0)princeHadoop 教程 阅读(237)