HDFS-集群缩扩容

namenode多目录 datanode多目录，扩容后数据均衡 比如说datanode所在的目录满了，添加新的 […]

hadoop-基准测试

HDFS读写压测 针对HDFS 的读写性能进行测试 写入压测 hadoop jar share/hadoop/ […]

yarn-高可用（HA）

高可用架构 RM可以选择嵌入基于 Zookeeper 的 ActiveStandbyElector，以决定哪个 […]

yarn-调度器

调度器的类型 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Schedu […]

yarn队列

队列的定义 YARN 队列类似于工作负载的逻辑分类器，它将集群中的资源分配给不同的用户或应用程序。每个队列可以 […]

yarn-架构

参考： https://www.cnblogs.com/liangzilx/p/14837562.html h […]

MapReduce开发流程

前置流程： 文件大小评估 文件格式评估 block块（物理划分） split分片（逻辑划分） 首先会获取切片信 […]

Partitions-分区

不同的分区由不同的reduce来处理，比如： reduce1 只拉取136号段的分区 。 reduce2 只拉 […]

MapReduce概念

分治 一定是要基于大量的数据场景！ MR思想 基于HDFS分布式系统的分布式计算引擎， 将计算分布在各个不同的 […]

Hadoop文件存储格式

存储形式 行式存储 适合事务型应用：行式存储对于频繁进行更新和插入操作的事务型应用非常有效，因为每次操作只需要 […]

DataNode

DataNode数据结构 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身， […]

HDFS的读写流程

写数据流程 写流程 前提：副本数：3 写流程之前：会将修改的元数据edits文件，写入到edits_inpro […]

HDFS-架构

HDFS 概念 Hadoop 分布式文件系统 （Hadoop Distributed File System） […]

基于zookeeper的故障转移实现

服务发现、主机发现、故障转移 💡思路: 将所有节点都注册到severs目录下，然后让程序监听当前所有节点。 通 […]