V2EX › liprais 的所有回复 › 第 142 页 / 共 163 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 138 139 140 141 142 143 144 145 146 147 ... 163

❮

❯

2016-03-18 11:02:26 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

@anonymoustian
"Configuration of Hive is done by placing your hive-site.xml, core-site.xml (for security configuration), hdfs-site.xml (for HDFS configuration) file in conf/. Please note when running the query on a YARN cluster (cluster mode), the datanucleus jars under the lib directory and hive-site.xml under conf/ directory need to be available on the driver and all executors launched by the YARN cluster. The convenient way to do this is adding them through the --jars option and --file option of the spark-submit command."
把上述三个文件(hive-site.xml,core-site.xml,hdfs-site.xml)拷到 spark 的 conf 下面就行了
然后读写的时候代码如下

// sc is an existing JavaSparkContext.
HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc);

// Queries are expressed in HiveQL.
sqlContext.sql("select * from YOUR_HIVE_TABLE_NAME").collect();

2016-03-18 09:26:16 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

@anonymoustian

SparkConf conf = new SparkConf().setAppName("JavaRFormulaExample");
JavaSparkContext jsc = new JavaSparkContext(conf);
HiveContext hiveContext = new HiveContext(jsc);

2016-03-18 09:00:15 +08:00

回复了 anonymoustian 创建的主题 › Hadoop › Spark 读取 Hive 数据库的代码谁能提供一份， Java 实现的

文档看了么?
把 hive 的配置拷到 conf 下面，再 new 一个 hivecontext 就可以了

2016-03-17 16:50:59 +08:00

回复了 shawnall 创建的主题 › 云计算 › 腾讯云 · 升级公告— Linux 系统盘容量升级&弹性扩容公告

从去年八月骂到现在，终于上线了

2016-03-17 11:16:03 +08:00

回复了 garyzhang 创建的主题 › 问与答 › 大公司究竟比小公司强在哪里？

大公司你做的产品可能出错了客户就要上门来砍死你,感受一下
小公司出错了可能你都不知道

2016-03-15 14:03:54 +08:00

回复了 madfrog1984 创建的主题 › Hadoop › 15 台规模的 hadoop 集群的机器的硬件配置选择问题

aws 搞定收工