Hive

Hive

sqoop使用create-hive-table命令 是否有办法直接创建分区hive表？

回复

Hive 时生君 发起了问题 • 1 人关注 • 0 个回复 • 233 次浏览 • 2019-03-10 17:41 • 来自相关话题

老师您好，我在三台机器使用ambari搭建了集群，使用tez执行hive任务时，明明查询结果已经返回，但是程序还在占用资源，该怎么办呢？

回复

Yarn car2008 回复了问题 • 1 人关注 • 3 个回复 • 585 次浏览 • 2018-11-26 15:27 • 来自相关话题

请教一个参数 serialization.format

回复

Hive 那小子真帅 发起了问题 • 1 人关注 • 0 个回复 • 1257 次浏览 • 2018-09-11 15:59 • 来自相关话题

hive的load数据分布及如何提交分布事务相关问题

回复

大数据应用实践 奔跑的鱼 发起了问题 • 1 人关注 • 0 个回复 • 361 次浏览 • 2018-07-20 17:50 • 来自相关话题

hive 如何多行转多列,并且行（转换前的）能对应到指定的列（转换后）

回复

Hive 开心就好_kxjh 发起了问题 • 0 人关注 • 0 个回复 • 923 次浏览 • 2018-07-13 22:30 • 来自相关话题

sqoop将hive中user_action导入mysql中出错 java.lang.ClassNotFoundException: user_action

Hive fish 回复了问题 • 3 人关注 • 1 个回复 • 574 次浏览 • 2018-03-27 18:40 • 来自相关话题

sentry进程.hiveserver2查询的时候，为什么很容易卡住？

Hive 史晓江 回复了问题 • 2 人关注 • 5 个回复 • 305 次浏览 • 2018-03-15 15:34 • 来自相关话题

请问下，count(1) over(partition by a,b,c) 这里会去重吗？

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 368 次浏览 • 2018-03-15 15:34 • 来自相关话题

win7下eclipse中jdbc访问hive内表没问题，映射hbase的表要报错，如下。但在linux的hive shell中都正常 

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 312 次浏览 • 2018-03-15 15:35 • 来自相关话题

请教下，sqoop orc格式的表会报错吗？

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 263 次浏览 • 2018-03-15 15:35 • 来自相关话题

我的环境hive2.1.0+hbase1.2.3+hadoop2.7.3hive cli下可访问hbase映射过来的表，但通过jdbc无法访问hbase映射过来的表。

Hive 史晓江 回复了问题 • 2 人关注 • 3 个回复 • 360 次浏览 • 2018-03-15 15:36 • 来自相关话题

有没有人遇到过集群里大部分job都在prep，但就是迟迟不进入running状态的情况？

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 459 次浏览 • 2018-03-15 15:33 • 来自相关话题

请问谁有hive的详细安装文档？求发一下，最好是remote模式

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 218 次浏览 • 2018-03-15 15:33 • 来自相关话题

collect_set函数不能和distinct一起使用吗?

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 408 次浏览 • 2018-03-15 15:32 • 来自相关话题

使用codaltas查看源码，是怎么找到这种项目目录的？而不是单个搜索出来的文件

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 307 次浏览 • 2018-03-15 15:31 • 来自相关话题

Error: Cannot execute statement:

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 311 次浏览 • 2018-03-15 15:31 • 来自相关话题

我想问下关于hive集成的问题。哪个方法可以获得hive查询过程中的filter。目前只找到从configuration中获得projection的列的信息。

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 260 次浏览 • 2018-03-15 15:30 • 来自相关话题

想请教一下，tez现在应用成熟吗？有一个项目，跑hive, 查询需要几分钟，想要提升降低查询时间，在考虑使用tez, 不知道tez现在工业应用成熟吗?

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 309 次浏览 • 2018-03-15 15:29 • 来自相关话题

数据仓库和hdfs什么关系？

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 202 次浏览 • 2018-03-15 15:29 • 来自相关话题

请教下，join多张表，只有一张表能join到结果，怎么判断是哪张表？

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 286 次浏览 • 2018-03-15 15:37 • 来自相关话题

更多...
条新动态, 点击查看
fish

fish 回答了问题 • 2015-10-22 09:54 • 18 个回复 不感兴趣

hive server2启动报错

赞同来自:

Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
是执行什么的时候报的错？ 显示全部 »
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
是执行什么的时候报的错？
0 0 收藏 分享
fish

fish 回答了问题 • 2015-10-25 00:27 • 4 个回复 不感兴趣

使用sqoop从mysql导入数据到Hive报错

赞同来自:

这是apache hive1.1.1版本的一个问题： https://issues.apache.org/jira/browse/HIVE-10831
将你机器上的hive拷贝到我的环境中执行也会发生同样的问题。
 
换用apache hive 1.2.1 ... 显示全部 »
这是apache hive1.1.1版本的一个问题： https://issues.apache.org/jira/browse/HIVE-10831
将你机器上的hive拷贝到我的环境中执行也会发生同样的问题。
 
换用apache hive 1.2.1 或者 CDH版本的就可以正常工作。
0 1 收藏 分享
更多...

sqoop使用create-hive-table命令 是否有办法直接创建分区hive表？

回复

Hive 时生君 发起了问题 • 1 人关注 • 0 个回复 • 233 次浏览 • 2019-03-10 17:41 • 来自相关话题

老师您好，我在三台机器使用ambari搭建了集群，使用tez执行hive任务时，明明查询结果已经返回，但是程序还在占用资源，该怎么办呢？

回复

Yarn car2008 回复了问题 • 1 人关注 • 3 个回复 • 585 次浏览 • 2018-11-26 15:27 • 来自相关话题

请教一个参数 serialization.format

回复

Hive 那小子真帅 发起了问题 • 1 人关注 • 0 个回复 • 1257 次浏览 • 2018-09-11 15:59 • 来自相关话题

hive的load数据分布及如何提交分布事务相关问题

回复

大数据应用实践 奔跑的鱼 发起了问题 • 1 人关注 • 0 个回复 • 361 次浏览 • 2018-07-20 17:50 • 来自相关话题

hive 如何多行转多列,并且行（转换前的）能对应到指定的列（转换后）

回复

Hive 开心就好_kxjh 发起了问题 • 0 人关注 • 0 个回复 • 923 次浏览 • 2018-07-13 22:30 • 来自相关话题

sqoop将hive中user_action导入mysql中出错 java.lang.ClassNotFoundException: user_action

回复

Hive fish 回复了问题 • 3 人关注 • 1 个回复 • 574 次浏览 • 2018-03-27 18:40 • 来自相关话题

各位大神，3台4核心10GB内存的datanode和一台8核心14GB内存的群集，hive 对一个只有30条数据的表进行COUNT(1) 查询数据量，竟然需要每台机10个CPU。这是什么情况

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 296 次浏览 • 2018-03-15 15:44 • 来自相关话题

请问oozie里执行tez引擎的hive，如何配置？

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 338 次浏览 • 2018-03-15 15:44 • 来自相关话题

hive on spark执行完job还一直是running状态, 哪位知道怎么解决

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 405 次浏览 • 2018-03-15 15:44 • 来自相关话题

hive中有 a&get;b?a:b这样的函数吗？不要case when

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 273 次浏览 • 2018-03-15 15:43 • 来自相关话题

请教个问题：hive上怎么实现匹配上更新，没匹配上插入.最好是在现有表上操作

回复

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 278 次浏览 • 2018-03-15 15:43 • 来自相关话题

问一下，HIVE 0.13已经有了IN  和 EXISTS,那 LEFT SEMI JOIN 这种用法存在的意义是什么。

回复

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 299 次浏览 • 2018-03-15 15:43 • 来自相关话题

请问这里建立了一个LXW11的表，数据怎么导入这个表的，是通过location那个语句吗？如果是的话，在那个文件夹有多个文件，而且有的文件里面列100多个怎么办？

回复

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 311 次浏览 • 2018-03-15 15:42 • 来自相关话题

hive2.1,hawq怎么批量导入hdfs.上的数据？

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 265 次浏览 • 2018-03-15 15:42 • 来自相关话题

请问hive中python编写udf时，需要配置什么参数吗？是需要配置什么参数还是需要赋权吗？

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 346 次浏览 • 2018-03-15 15:42 • 来自相关话题

这个sql怎么优化

回复

Hive 兔撕鸡大爷 发起了问题 • 1 人关注 • 0 个回复 • 271 次浏览 • 2018-03-15 15:41 • 来自相关话题

我工作中遇到一个问题，之前因为疏忽，指定大量reducer，但是没有合并输出，导致系统多了很多小文件。请问怎么弥补这个错误

回复

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 245 次浏览 • 2018-03-15 15:41 • 来自相关话题

为自动跳转到第三方系统的某个页面，模拟第三方登录过程后，不修改第三方源码，怎么跳转到指定页面？

回复

Hive 史晓江 回复了问题 • 2 人关注 • 1 个回复 • 282 次浏览 • 2018-03-15 15:40 • 来自相关话题

想写一个hive程序.统计uniqueid的，想在每天的分区表里边，保存去重的历史uniqueid，怎么设计比较好

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 328 次浏览 • 2018-03-15 15:38 • 来自相关话题

一段代码跑很久，任务都没拉起来，请问会是什么原因？编译能通过

回复

Hive 银河系管理员 发起了问题 • 1 人关注 • 0 个回复 • 368 次浏览 • 2018-03-15 15:38 • 来自相关话题

更多...

Impala与Hive的比较

impala 唐半张 发表了文章 • 0 个评论 • 1555 次浏览 • 2015-10-10 09:25 • 来自相关话题

1. Impala架构        Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布...
查看更多

Hive安装之本地独立模式

Hive 唐半张 发表了文章 • 0 个评论 • 1071 次浏览 • 2015-10-09 10:27 • 来自相关话题

本地独立模式：在本地安装mysql数据库，然后hive将元数据存放在mysql中。实验前提条件：已经成功安装了hadoop集群（不管是伪分布式还是完全分布式）。 本人实验的hadoop版本为1.2.1，其安装目录为/usr/hadoop-1.2.1 ，并...
查看更多

order by && sort by && distribute by && cluster by 区分

Hive 唐半张 发表了文章 • 0 个评论 • 1267 次浏览 • 2015-10-09 09:37 • 来自相关话题

order by 1、order by会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）；     只有一个reducer，会导致当输入规模较大时，需要较长的计算时间，速度会非常慢； 2、hive.mapred....
查看更多

Hive的数据类型

Hive 唐半张 发表了文章 • 0 个评论 • 1332 次浏览 • 2015-10-09 09:36 • 来自相关话题

Hive的内置数据类型可以分为两大类：(1)、基础数据类型；(2)、复杂数据类型。其中，基础数据类型包括： TINYINT,SMALLINT,INT,BIGINT,BOOLEAN,FLOAT,DOUBLE,STRING,BINARY,TIMESTAMP,DEC...
查看更多

Hive自定义UDF和聚合函数UDAF

Hive 唐半张 发表了文章 • 0 个评论 • 1259 次浏览 • 2015-10-07 09:40 • 来自相关话题

Hive是一种构建在Hadoop上的数据仓库，Hive把SQL查询转换为一系列在Hadoop集群中运行的MapReduce作业，是MapReduce更高层次的抽象，不用编写具体的MapReduce方法。Hive将数据组织为表，这就使得HDFS上的数据有了结构...
查看更多

Hive的优化

Hive 唐半张 发表了文章 • 0 个评论 • 1247 次浏览 • 2015-10-06 10:01 • 来自相关话题

Hive的优化策略及优化控制选项主要有以下几个方面： （1）列裁剪 需设置参数hive.optimize.cp=true （2）分区裁剪 需设置参数hive.optimize.pruner=true （3）Joni操作 应该将条目少的...
查看更多

hive QL（HQL）简明指南

Hive 唐半张 发表了文章 • 0 个评论 • 1424 次浏览 • 2015-09-30 11:18 • 来自相关话题

1. 基本数据类型 tinyint , smallint, int, bigint, float, double, boolean: true/false, string 2. 基础运算符与函数 A IS NULL         空 A IS NOT...
查看更多

hive中的时间处理函数

Hive 唐半张 发表了文章 • 0 个评论 • 1702 次浏览 • 2015-09-30 11:15 • 来自相关话题

日期函数UNIX时间戳转日期函数: from_unixtime语法:   from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:0...
查看更多

Hadoop Hive与Hbase整合

Hadoop 唐半张 发表了文章 • 0 个评论 • 1183 次浏览 • 2015-09-29 11:08 • 来自相关话题

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库  1. 基于Hadoop+Hive架构对海量数据进行查询：htt...
查看更多

hive 数据导入mysql

Hive 夕阳丶一抹红颜 发表了文章 • 0 个评论 • 1457 次浏览 • 2015-09-22 11:44 • 来自相关话题

下面是我将 hive中数据导入到mysql 中的方案，但这套方案性能速度上不是很好，想听听大家有没有更好些的方案？ 目前我是在hive中有一张page_visit表，每天产生1500w数据，然后执行指定时间段内（一般三天，大概四、五千万行）的数据：...
查看更多

Hive Tunning 补充 关于bucket

Hive cenyuhai 发表了文章 • 0 个评论 • 1126 次浏览 • 2015-09-11 14:40 • 来自相关话题

在前面的几篇文章当中一直有一个概念bucketing不清楚到底是怎么回事。 　　网友南京-李先森给了他收集的一些资料，如下： 　　Buckets 对指定列计算 hash，根据 hash 值切分数据，目的是为了并行，每一个 Bucket 对应一个文件。如将 us...
查看更多

Hbase 学习（十一）使用hive往hbase当中导入数据

HBase cenyuhai 发表了文章 • 0 个评论 • 1209 次浏览 • 2015-09-11 14:38 • 来自相关话题

　我们可以有很多方式可以把数据导入到hbase当中，比如说用map-reduce，使用TableOutputFormat这个类，但是这种方式不是最优的方式。 　　Bulk的方式直接生成HFiles，写入到文件系统当中，这种方式的效率很高。 　　一般的步骤有两步...
查看更多

Hive Tuning(五) 标准调优清单

Hive cenyuhai 发表了文章 • 0 个评论 • 1066 次浏览 • 2015-09-11 14:28 • 来自相关话题

=mediumHive的标准调优清单，我们可以对照着来做我们的查询优化！ =medium http://images.cnitblog.com/blog/477362/201307/31205654-9c6ba110ff4243daafbfc039cbe6a...
查看更多

Hive Tunning（三） 最佳实践

Hive cenyuhai 发表了文章 • 0 个评论 • 1042 次浏览 • 2015-09-11 14:28 • 来自相关话题

=medium在上一讲的基础上，我们来做来一个实际的例子来展示如何在实操中进行高效的hive查询作业。=medium（1）首先我们建立一个表 =mediumCREATE EXTERNAL TABLE pos_staging( txnid STRING, txn...
查看更多

Hive Tuning(四) 从查询计划看hive.auto.convert.join的好处

Hadoop cenyuhai 发表了文章 • 0 个评论 • 1935 次浏览 • 2015-09-11 14:23 • 来自相关话题

今天我们来讲一下如何看懂Hive的查询计划。 hive的执行计划包括三部分 – Abstract syntax tree – 可以直接忽略 – Stage dependencies – 依赖 – Stage plans – hive如何执行任务的信息. h...
查看更多

Hive Tunning（二）优化存储

Hive cenyuhai 发表了文章 • 0 个评论 • 1289 次浏览 • 2015-09-11 14:22 • 来自相关话题

接着上一章我们讲的hive的连接策略，现在我们讲一下hive的数据存储。 下面是hive支持的数据存储格式，有我们常见的文本，JSON，XML，这里我们主要讲一下ORCFile。 Built-in Formats: – ORCFile – RCFile – A...
查看更多

Hive Tuning（一） 连接策略

Hadoop cenyuhai 发表了文章 • 0 个评论 • 1162 次浏览 • 2015-09-11 14:21 • 来自相关话题

群里共享了一本hive调优的书记，名叫《Hive Tunning》，就忍不住开始看了，也顺便记录一下自己学到的东西，备忘！ 首先，这是hive的数据摘要，别问我什么意思，我也没看懂。 http://images.cnitblog.com/blog/4773...
查看更多

hadoop 1.1.2和 hive 0.10 和hbase 0.94.9整合

Hadoop cenyuhai 发表了文章 • 0 个评论 • 1061 次浏览 • 2015-09-11 14:17 • 来自相关话题

今天弄了一下hive0.10和hbase0.94.9整合，需要设置的并不多，但是也遇到了一些问题。 　　1.复制jar包 　　拷贝hbase-0.94.9.jar，zookeeper-3.4.5.jar，protobuf-java-2.4.0a.jar到hiv...
查看更多

hive thrift 开机启动

Hadoop cenyuhai 发表了文章 • 0 个评论 • 976 次浏览 • 2015-09-11 14:16 • 来自相关话题

这个问题困扰我很久，之前redis的时候，也出现了这个问题，从网上找的thrift脚本没有一个好使的，最后通过修改/etc/rc.d/rc.local来执行一些非服务的命令，这样子就不需要像写服务那样写start，stop方法啦，不过修改这个配置文件要小心，命...
查看更多
更多...
Hive是Hadoop上事实的、功能最强大的SQL和元数据标准。也是Hadoop的MR, Spark, Tez作业的常用提交工具。  
Copyright © 2019