hbase删除数据的几种方式 hbase真正删除数据

写作过程1)1)客户端向HregionServer发送写请求;2)HregionServer将数据写入HLog(预写日志)。用于数据的持久化和恢复;3)HregionServer将数据写入内存(memstore);4)反馈客户端编写成功。数据刷新过程1)当MemStore数据达到阈值(默认值为128M,旧版为***M)时,将数据刷到硬盘,...

写作过程

1)1)客户端向HregionServer发送写请求;

2)HregionServer将数据写入HLog(预写日志)。用于数据的持久化和恢复;

3)HregionServer将数据写入内存(memstore);

4)反馈客户端编写成功。

数据刷新过程

1)当MemStore数据达到阈值(默认值为128M,旧版为***M)时,将数据刷到硬盘,删除内存中的数据,同时删除HLog中的历史数据;

2)将数据存储在HDFS;

3)在HLog中标记点。

数据合并过程

1)当数据块数量达到4个时,H***ster本地加载数据块并合并;

2)当合并数据超过256M时,将其拆分,并将拆分后的区域分配给不同的HregionServer进行管理;

3)当HregionServer宕机时,将HregionServer上的hlog拆分,然后分配给不同的HregionServer进行加载和修改。META;

4)注意:HLog将与HDFS同步。

阅读过程

1)1)客户端首先访问zookeeper,从元表中读取区域的位置,然后读取元表中的数据。元数据还存储用户表的区域信息;

2)根据命名空间、表名和rowkey,在元表中找到对应的区域信息;

3)找到区域服务器;对应于这个区域;

4)找到相应的区域;;

5)先从MemStore中寻找数据,如果没有,再在StoreFile上读取(为了读取效率)。

H***ster的职责

1)管理用户对表格的增加、删除、修改和查看操作;

2)记录该区域在哪个Hregion服务器上;

3)区域拆分后,负责新区域的分配;

4)当增加新机器时,管理HRegion服务器的负载平衡,调整区域的分配;

5)HRegion服务器故障后,负责故障HRegion服务器上的区域迁移。

Hregionserver的职责

1)HRegion Server主要负责响应用户I/O请求,向HDFS文件系统读写数据,是HBASE中的核心模块。

2)Hregion Server管理表的很多分区,即区域。

客户责任

1)HBASE客户端使用HBASE的RPC机制与HMaster和RegionServer通信。

2)管理操作:客户端和HMaster执行RPC;

3)数据读写操作:客户端和HRegionServer执行RPC。

本文来自清杉投稿,不代表舒华文档立场,如若转载,请注明出处:https://www.chinashuhua.cn/24/602881.html

打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
() 0
上一篇 06-22
下一篇 06-22

相关推荐

  • u盘损坏后如何恢复数据(u盘损坏后如何恢复数据U盘不能格式化)

    优盘是一种存储方便、使用简单的便携式存储设备,所以很多用户都喜欢用优盘来存储自己的重要文件。u盘的文件坏了或者目录损坏了就坏了。u盘打不开,重要文件还在里面。边肖特意给大家带来一个修复u盘损坏的方法,可以帮你解决u盘损坏的问题。具体步骤:1。检查Chkdsk并修复错误

    2023-07-27 22:08:02
    879 0
  • 手机数据怎么恢复(手机恢复数据要多少钱)

    突然***死机,所有数据莫名其妙丢失?不小心格式化了定位器?误删重要照片和聊天记录?这时候你一定急得像热锅上的蚂蚁。毕竟你定位器里有你收藏的几千个表情包!如何找到你解决尴尬聊天的神器迫在眉睫!第一次肯定是在网上想办法。网上有各种恢复定位器数据的渠道,但无一例

    2023-07-26 19:58:01
    978 0
  • updateset多条数据 使用update语句修改表中数据

    摘要今天就简单介绍一下select语句的流程,update语句的执行过程以及涉及到的两阶段提交协议,仅供参考。Redlog(唯一重做日志(innodb引擎,它循环写入,空之间的间隔总会用完。比如配置一组4个文件,每个文件大小为4GB,可以记录总共4GB的操作)是物理日志,记录“某个数据页发

    2023-07-26 16:30:01
    235 0
  • 大数据要学什么东西(大数据具体学什么)

    序大家好,关于技术干货,我准备给大家写一篇文章《大数据面试突击系列》。来看看目前为止的进展吧!发私文:大数据面试突击系列为了更方便我的读者学习和准备大数据面试,我把以上八篇优质干货文章分别做成了PDF,今天送给大家!需要关注微信官方账号:文字代表讲述,回复【学

    2023-07-25 18:08:01
    535 0

评论列表

联系我们

在线咨询: QQ交谈

邮件:admin@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信