写作过程
1)1)客户端向HregionServer发送写请求;
2)HregionServer将数据写入HLog(预写日志)。用于数据的持久化和恢复;
3)HregionServer将数据写入内存(memstore);
4)反馈客户端编写成功。
数据刷新过程
1)当MemStore数据达到阈值(默认值为128M,旧版为***M)时,将数据刷到硬盘,删除内存中的数据,同时删除HLog中的历史数据;
2)将数据存储在HDFS;
3)在HLog中标记点。
数据合并过程
1)当数据块数量达到4个时,H***ster本地加载数据块并合并;
2)当合并数据超过256M时,将其拆分,并将拆分后的区域分配给不同的HregionServer进行管理;
3)当HregionServer宕机时,将HregionServer上的hlog拆分,然后分配给不同的HregionServer进行加载和修改。META;
4)注意:HLog将与HDFS同步。
阅读过程
1)1)客户端首先访问zookeeper,从元表中读取区域的位置,然后读取元表中的数据。元数据还存储用户表的区域信息;
2)根据命名空间、表名和rowkey,在元表中找到对应的区域信息;
3)找到区域服务器;对应于这个区域;
4)找到相应的区域;;
5)先从MemStore中寻找数据,如果没有,再在StoreFile上读取(为了读取效率)。
H***ster的职责
1)管理用户对表格的增加、删除、修改和查看操作;
2)记录该区域在哪个Hregion服务器上;
3)区域拆分后,负责新区域的分配;
4)当增加新机器时,管理HRegion服务器的负载平衡,调整区域的分配;
5)HRegion服务器故障后,负责故障HRegion服务器上的区域迁移。
Hregionserver的职责
1)HRegion Server主要负责响应用户I/O请求,向HDFS文件系统读写数据,是HBASE中的核心模块。
2)Hregion Server管理表的很多分区,即区域。
客户责任
1)HBASE客户端使用HBASE的RPC机制与HMaster和RegionServer通信。
2)管理操作:客户端和HMaster执行RPC;
3)数据读写操作:客户端和HRegionServer执行RPC。
本文来自清杉投稿,不代表舒华文档立场,如若转载,请注明出处:https://www.chinashuhua.cn/24/602881.html