发起
mopishv0

mopishv0

高级开发工程师@美团

北京市 海淀区 计算机软、硬件/互联网/IT

威望 : 73 赞同 : 80 感谢 : 6

擅长话题

更多 »回复

启动journalnode时，出错了，没用看到journalnode进程

1

配置文件中有非UTF8字符，有可能window下编辑(一般是gbk编码)后放到linux后导致的，重新编辑下文件，或者试试dos2unix

HBase 多条件过滤

0

不按rowkey查询，无法保证效率

namenode 元数据损坏

1

如果想勉强恢复的话，可以将editlog用oev转为xml，然后修改editlog_id，然后再用oev转回editlog格式，在replay过程中，会有不少replay失败，同样转为xml，删除失败操作，再继续处理就行，但是必然会丢不少数据。

namenode 元数据损坏

1

中间清理过editlog？ 这样的话就找不回来了，一定要起全节点，否则即使能找回来，replay editlog也要很长的时间。

线上集群Hbase的 hbase.version 文件突然消失了

0

嗯，auditlog

Hbase 集群的某个region无法读取

0

没有报错？ 如果没有报错，很可能是没有数据。 如果是阻塞很久，可以看看RS日志，一方面有可能是文件数非常多，没有合理compact，另一方面，可能数据所在的DN有问题，导致读延迟非常大。

线上集群Hbase的 hbase.version 文件突然消失了

0

没开审计日志？

spark 读取预分region的Hbase

0

是meta表中记录的机器名，客户端无法解析

Hbase regionserver 报错然后造成 region下线，最终所有region都下线后，这个regionserver就挂掉了

0

页面上能看到的信息比较少，看日志里是否有large response之类的日志，如果有，看看长度和并发，如果是scan请求打死，这里会有日志。 另外需要看监控，挂掉的那会儿请求情况是什么样的。

线上集群Hbase的 hbase.version 文件突然消失了

0

version文件不见了是指块丢了？还是文件被删了？如果是文件被删了，可以通过HDFS审计日志确定是由谁或者节点删的，如果没了也可以尝试从其他同版本集群中拷贝回来。 关于TableExistsException，看着应该是在做集群初始化的过程中有残留信息导致的...

HBase hbase.hregion.max.filesize 修改后重启

0

这个是regionserver的参数，需要修改regionserver配置并重启，默认split策略中，split阈值是一个动态值，如果想要严格执行这个配置，需要使用ConstantSizeRegionSplitPolicy.

Hbase regionserver 报错然后造成 region下线，最终所有region都下线后，这个regionserver就挂掉了

0

看你贴的日志，一般是GC导致的，需要进一步确定下是put导致的还是scan，是否是某个业务的瞬时压力，是否能转为离线的方式进行处理。

canal 导入hbase用什么方式？

0

一般如果有时效要求，就实时put，如果没有攒一批bulkload也可以。  

region热点问题如何处理？以及为什么 会产生这种 问题

1

从region name时间戳那一段看，region几乎是2000秒内创建出来的，时间为最近两天，而rowkey不像是人为指定的，所以可以得到一个猜测:  rowkey划分不合理，没有考虑请求热点 根据你另一个问题，没有合理指定maxfilesize，请求量...

生产上hbase的region大小能调整吗

1

这样多的region数完整重启几乎是小时级别的了？ 赶紧为每个表加上配置，再建表提前预分好，预分合理的话，是可以禁用autosplit的。 你可以hbase shell里help一下，或者看看hbaseadmin类中，看看有没有merge，这种数量级的，你得写...

Hbase如何分表及预分区

1

hbase不像hive那样分区，或者分bucket； hbase的数据按照rowkey有序存储，region也是按照rowkey范围有序、连续、不重叠的划分的，所以分region的原则是需要让你的请求和数据能_**按照rowkey**_均匀的散列在每个regi...

Hbase 集群region分布不均匀

2

先确定master页面是否还有region in trasastion，如果有并且长时间未变化，可以考虑重启master，重新触发容灾 region都加载后，进入hbase shell balance_switch true 开启balancer balanc...

关于回填问题

0

HDFS文件不支持随机写入，这种情况hbase更好点，mr处理完，生成hfile，bulkload到hbase中

从hadoop集群往hbase集群插入数据时报错

0

不是公用的hdfs，那么hadoop的配置自然不知道hbase集群中的hdfs配置了，了解下hdfs-site.xml中nameserver相关配置的含义吧

我现在想把hadoop源码导入到idea中，但是不知道命令是什么了，只知道导入eclipse命令是：mvn eclipse:eclipse-DskipTests，谢谢了

0

按照提示，-e -X 看看debug日志吧

更多 »发问

没有内容

更多 »动态

发问

更多

回复

更多

文章

更多

最新动态

更多

我的交易

类型 时间 数额 支付方式 状态 描述
更多

提现记录

时间 金额 卡号 银行 持卡人 手续费 状态 描述
更多

审核记录

时间 类型 状态 描述
更多
更多 » 关注 3 人

fish wangwensheng admin

更多 » 被 27178 人关注

田政 小鸡仔 _小小_程序员 ZZR. L6G

关注 5 话题
招聘 数据可视化
主页访问量 : 5361 次访问
Copyright © 2022 - 京ICP备14002699号-2 京公网安备 11010502041196号