SparkSQL

SparkSQL

请问,spark stage的shuffle read很大,有遇到过的吗?

回复

SparkSQL daofeng 发起了问题 • 1 人关注 • 0 个回复 • 127 次浏览 • 2018-01-31 22:10 • 来自相关话题

关于sparksql中数据倾斜问题

Spark fish 回复了问题 • 2 人关注 • 1 个回复 • 406 次浏览 • 2017-09-10 23:03 • 来自相关话题

sparksql在spark-shell中的sqlCtx.sql()和sparksql CLI直接写有什么区别呢?

SparkSQL fish 回复了问题 • 3 人关注 • 2 个回复 • 533 次浏览 • 2017-08-29 09:52 • 来自相关话题

如何通过spark sql 操作mysql 清空表的数据?

SparkSQL fish 回复了问题 • 2 人关注 • 1 个回复 • 334 次浏览 • 2017-06-09 11:05 • 来自相关话题

DataFrame中如新添加一列,该列是由已知列的N列经过处理后得出的;

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 856 次浏览 • 2017-05-07 10:15 • 来自相关话题

hive metastore配置多个后,当客户端连接其中的一个metastore更改表结构后,则连接另外一个metastore无法再访问此表了。

SparkSQL 冯朝阁 回复了问题 • 2 人关注 • 4 个回复 • 520 次浏览 • 2017-05-05 20:05 • 来自相关话题

sparksql读取oracle中表 怎么写呢?

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 448 次浏览 • 2017-04-26 18:50 • 来自相关话题

spark-sql执行过程中报错

SparkSQL wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 399 次浏览 • 2017-04-25 15:40 • 来自相关话题

sparksql会逐步替换掉hive吗

SparkSQL fish 回复了问题 • 2 人关注 • 1 个回复 • 431 次浏览 • 2017-04-24 12:05 • 来自相关话题

SparkSQL外部数据源支持嵌套文件夹吗

SparkSQL #天听我笑# 回复了问题 • 2 人关注 • 2 个回复 • 390 次浏览 • 2017-04-26 09:22 • 来自相关话题

1g 的表跟100GB的表关联,可用内存1为1.5T CPU500个。使用什么样的关联方式比较高效呢?

SparkSQL fish 回复了问题 • 2 人关注 • 3 个回复 • 436 次浏览 • 2017-05-02 18:51 • 来自相关话题

rdd和dataframe进行repartition是否会减少后续shuffle过程?

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 827 次浏览 • 2017-04-17 22:08 • 来自相关话题

Size exceeds Integer.MAX_VALUE spark读取2GB的block 限制。有办法解决吗?

SparkSQL fish 回复了问题 • 2 人关注 • 1 个回复 • 573 次浏览 • 2017-04-13 09:58 • 来自相关话题

Spark 动态UDF

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 381 次浏览 • 2017-04-19 19:39 • 来自相关话题

董老师好!sparksql如何通过DAG图定位到sql代码的位置。这个是发现问题的关键 希望大家多多支持!

SparkSQL 冯朝阁 回复了问题 • 4 人关注 • 2 个回复 • 539 次浏览 • 2017-04-26 21:04 • 来自相关话题

sparkSteaming一分钟去消费一次kafka中的消息的疑惑?

回复

SparkSQL jhg22 发起了问题 • 1 人关注 • 0 个回复 • 641 次浏览 • 2016-10-26 22:37 • 来自相关话题

spark sql是否可以代替hive等其他的sql on hadoop

Spark fish 回复了问题 • 1 人关注 • 1 个回复 • 603 次浏览 • 2016-10-12 09:49 • 来自相关话题

sparkStream window 任务执行顺序?

回复

SparkSQL jhg22 发起了问题 • 1 人关注 • 0 个回复 • 580 次浏览 • 2016-10-11 17:45 • 来自相关话题

困惑的spark 求解答

SparkSQL fish 回复了问题 • 4 人关注 • 4 个回复 • 503 次浏览 • 2016-06-16 11:46 • 来自相关话题

Spark1.0新特性-->Spark SQL

Spark cenyuhai 发表了文章 • 1 个评论 • 1408 次浏览 • 2015-09-11 15:17 • 来自相关话题

Spark1.0出来了,变化还是挺大的,文档比以前齐全了,RDD支持的操作比以前多了一些,Spark on yarn功能我居然跑通了。但是最最重要的就是多了一个Spark SQL的功能,它能对RDD进行Sql操作,目前它只是一个alpha版本,喜欢尝鲜的同志们...
查看更多

请问,spark stage的shuffle read很大,有遇到过的吗?

回复

SparkSQL daofeng 发起了问题 • 1 人关注 • 0 个回复 • 127 次浏览 • 2018-01-31 22:10 • 来自相关话题

关于sparksql中数据倾斜问题

回复

Spark fish 回复了问题 • 2 人关注 • 1 个回复 • 406 次浏览 • 2017-09-10 23:03 • 来自相关话题

sparksql在spark-shell中的sqlCtx.sql()和sparksql CLI直接写有什么区别呢?

回复

SparkSQL fish 回复了问题 • 3 人关注 • 2 个回复 • 533 次浏览 • 2017-08-29 09:52 • 来自相关话题

如何通过spark sql 操作mysql 清空表的数据?

回复

SparkSQL fish 回复了问题 • 2 人关注 • 1 个回复 • 334 次浏览 • 2017-06-09 11:05 • 来自相关话题

DataFrame中如新添加一列,该列是由已知列的N列经过处理后得出的;

回复

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 856 次浏览 • 2017-05-07 10:15 • 来自相关话题

1g 的表跟100GB的表关联,可用内存1为1.5T CPU500个。使用什么样的关联方式比较高效呢?

回复

SparkSQL fish 回复了问题 • 2 人关注 • 3 个回复 • 436 次浏览 • 2017-05-02 18:51 • 来自相关话题

董老师好!sparksql如何通过DAG图定位到sql代码的位置。这个是发现问题的关键 希望大家多多支持!

回复

SparkSQL 冯朝阁 回复了问题 • 4 人关注 • 2 个回复 • 539 次浏览 • 2017-04-26 21:04 • 来自相关话题

sparksql读取oracle中表 怎么写呢?

回复

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 448 次浏览 • 2017-04-26 18:50 • 来自相关话题

SparkSQL外部数据源支持嵌套文件夹吗

回复

SparkSQL #天听我笑# 回复了问题 • 2 人关注 • 2 个回复 • 390 次浏览 • 2017-04-26 09:22 • 来自相关话题

spark-sql执行过程中报错

回复

SparkSQL wangxiaolei 回复了问题 • 2 人关注 • 1 个回复 • 399 次浏览 • 2017-04-25 15:40 • 来自相关话题

sparksql会逐步替换掉hive吗

回复

SparkSQL fish 回复了问题 • 2 人关注 • 1 个回复 • 431 次浏览 • 2017-04-24 12:05 • 来自相关话题

Spark 动态UDF

回复

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 381 次浏览 • 2017-04-19 19:39 • 来自相关话题

rdd和dataframe进行repartition是否会减少后续shuffle过程?

回复

SparkSQL Dong 回复了问题 • 2 人关注 • 1 个回复 • 827 次浏览 • 2017-04-17 22:08 • 来自相关话题

Size exceeds Integer.MAX_VALUE spark读取2GB的block 限制。有办法解决吗?

回复

SparkSQL fish 回复了问题 • 2 人关注 • 1 个回复 • 573 次浏览 • 2017-04-13 09:58 • 来自相关话题

sparkSteaming一分钟去消费一次kafka中的消息的疑惑?

回复

SparkSQL jhg22 发起了问题 • 1 人关注 • 0 个回复 • 641 次浏览 • 2016-10-26 22:37 • 来自相关话题

spark sql是否可以代替hive等其他的sql on hadoop

回复

Spark fish 回复了问题 • 1 人关注 • 1 个回复 • 603 次浏览 • 2016-10-12 09:49 • 来自相关话题

sparkStream window 任务执行顺序?

回复

SparkSQL jhg22 发起了问题 • 1 人关注 • 0 个回复 • 580 次浏览 • 2016-10-11 17:45 • 来自相关话题

困惑的spark 求解答

回复

SparkSQL fish 回复了问题 • 4 人关注 • 4 个回复 • 503 次浏览 • 2016-06-16 11:46 • 来自相关话题

Spark1.0新特性-->Spark SQL

Spark cenyuhai 发表了文章 • 1 个评论 • 1408 次浏览 • 2015-09-11 15:17 • 来自相关话题

Spark1.0出来了,变化还是挺大的,文档比以前齐全了,RDD支持的操作比以前多了一些,Spark on yarn功能我居然跑通了。但是最最重要的就是多了一个Spark SQL的功能,它能对RDD进行Sql操作,目前它只是一个alpha版本,喜欢尝鲜的同志们...
查看更多