spark
1.3.0
1.4.1 
 
上面练习的代码是使用 程超老师录播视频中的示例，并没有按照最新直播的示例。spark 最近的版本此api发生了变化。
不是registerAsTable，而是registerTempTable
 
正确代码如下：
 
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
case class Person(name: String, age: Int)
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt)).toDF()
people.registerTempTable("people")
sqlContext.sql("select * from  people").show
 
 
 

学习使用开源框架，阅读源码是重要的学习方法，如何有效的阅读源码，可以分享一下心得不？

之前董老师讲课的时候讲到过中搜的日志统计与分析系统，它的可视化是怎么实现的呢？ 现在做可视化用什么工具比较好？

16/10/18 04:30:59 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
at cn.chinahadoop.SparkPi$.main(SparkPi.scala:58)
at cn.chinahadoop.SparkPi.main(SparkPi.scala) 这是IDEA运行一个Spark自带的例子SparkPi，已经在Program arguments中配置了“local”,但是出现如上报错，在代码中设置 setMaster("spark://192.168.141.128:7077") 出现报错： WARN AppClient$ClientEndpoint: Failed to connect to master 192.168.141.128:7077
java.io.IOException: Failed to connect to /192.168.141.128:7077 这些是什么原因导致的呢？另外我已经在spark-defaults.conf配置了spark.master！
 

老师，能不能录个小视频讲解一下maven配置，能让例子能mvn package运行起来？

董老师，您好！我想问2个问题
 
1、如何控制spark代码运行时的权限。例如，可以读写那些hive或hbase的表。或者那些hdfs目录
2、目前我能想到的访问和操作hadoop eco cluster 的方式有三种1、rest， 2、CLI，3、代码。请有其他方式吗？
 
我们目前采用的是HDP2.5，通过ambari2.4部署的。希望控制住三条路线上的权限，分别是：restful、CLI、代码 的读写hdfs、Hive、Hbase等几个组件的权限。
目前看到的一套安全解决方案是通过knox + ranger + kerberos来实现的。整套框架如图所示。我的需求是构建一个安全的大数据据平台。希望做到安全的数据管理，其实就是做到各种方式的数据操作都受控就行了。
 
附件里面的那套方案能否实现我们的目标，无论通过那种方式访问集群的任何服务，必须要有认证授权才可以。否则连hdfs 50070 和 yarn 8088这样的界面都打不开