hadoop-基准测试
HDFS读写压测 针对HDFS 的读写性能进行测试 写入压测 hadoop jar share/hadoop/ […]
yarn-高可用（HA）
高可用架构 RM可以选择嵌入基于 Zookeeper 的 ActiveStandbyElector，以决定哪个 […]
yarn-调度器
调度器的类型 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Schedu […]
yarn队列
队列的定义 YARN 队列类似于工作负载的逻辑分类器，它将集群中的资源分配给不同的用户或应用程序。每个队列可以 […]
yarn-架构
参考： https://www.cnblogs.com/liangzilx/p/14837562.html h […]
MapReduce工作流程
参考： https://blog.csdn.net/qq_37933018/article/details/1 […]
MapReduce开发流程
前置流程： 文件大小评估 文件格式评估 block块（物理划分） split分片（逻辑划分） 首先会获取切片信 […]
Partitions-分区
不同的分区由不同的reduce来处理，比如： reduce1 只拉取136号段的分区 。 reduce2 只拉 […]
Job的提交与切片原理
Job的创建 切片机制 split计算公式：finalSplitSize=max(minSize,min(ma […]
MapReduce概念
分治 一定是要基于大量的数据场景！ MR思想 基于HDFS分布式系统的分布式计算引擎， 将计算分布在各个不同的 […]
Hadoop文件存储格式
存储形式 行式存储 适合事务型应用：行式存储对于频繁进行更新和插入操作的事务型应用非常有效，因为每次操作只需要 […]
HDFS-高可用（HA）
参考： https://hadoop.apache.org/docs/r3.4.0/hadoop-projec […]
DataNode
DataNode数据结构 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身， […]
NameNode和SecondaryNameNode工作机制
思考 思考：NameNode中的元数据是存储在哪里的？ 首先，我们做个假设，如果存储在NameNode节点的磁 […]
HDFS的读写流程
写数据流程 写流程 前提：副本数：3 写流程之前：会将修改的元数据edits文件，写入到edits_inpro […]
HDFS-架构
HDFS 概念 Hadoop 分布式文件系统 （Hadoop Distributed File System） […]
基于zookeeper的原生分布式锁的实现
官网提供的思路 希望获得锁的客户端执行以下操作： 使用路径名“ locknode/guid-lock-”并设置 […]
基于zookeeper的故障转移实现
服务发现、主机发现、故障转移 💡思路: 将所有节点都注册到severs目录下，然后让程序监听当前所有节点。 通 […]
zookeeper-基于Zab的选举机制
原理 在 ZooKeeper 的 Leader 选举过程中，Zab 协议（ZooKeeper Atomic B […]
CAP理论
CAP 理论 CAP 理论，是关于分布式系统中一致性、可用性和分区容错性之间权衡的理论。CAP 理论的三项核心 […]