【sparksql】

spark-1.6.1安装编译&&sparksql操作hive

2016年05月31 - maven：3.3.9 jdk:java version "1.8.0_51"spark:spark-1.6.1.tgzscala:2.11.7如果scala版本是2.11.x，执行如下脚

sparksql中的shuffle问题，怎么将shuffle过程的读写放到内存里啊？

2018年01月16 - 如上图，shuffle的读写是发生在NODE_LOCAL中的，也就是发生在本地节点，但这样会产生I/O消耗，对性能有影响，所以我想让shuffle的读写在内存中完成，该怎么修改呢？？？我查阅了资料，说

spark2.1.0版本 SparkSQL相关内容的测试和学习

2017年04月06 - 参考文档：http://spark.apache.org/docs/latest/sql-programming-guide.html 在本地测试。（可自行编译源码spark2.1对应hadoop2.

实战Spark分布式SQL引擎

2015年06月24 - 一、概览Spark SQL除了使用spark-sql命令进入交互式执行环境之外，还能够使用JDBC/ODBC或命令行接口进行分布式查询，在这个模式下，终端用户或应用可以直接和Spark SQL进行交互

使用SparkSQL/DataFrame读取HBase表

2016年08月13 - /Spark-Scala-Error-value-toDF-is-not-a-member-of-org-apache-spark/m-p/29994#M973 [2] https://hbase.apache.org/book.html#_sparksql_dataframes [3] https

Spark2.0 相关知识汇总

2016年09月22 - Worker原理 http://bbs.pinggu.org/thread-4638174-1-1.html 15. Hive本质 Hive是分布式数据仓库，同时又是查询引擎，所以SparkSQL

scala实战之spark读取mysql数据表并存放到mysql库中编程实例

2016年09月20 - ",prop) }} 下面来看看运行结果啥样：数据库结果如下：通过这段代码可以实现从mysql关系型数据库中直接读取数据转化成DataFrame参与到sparksql的分析当中这个意义是非

记录oracle回写的几个解决方案

2018年04月25 - 由于用的是spark1.5.1的版本，出现诸多想不到的bug，记录下来，供大家参考。首先说下我们的需求，是将hive的表进行回写入oracle，必须使用sparksql这种形式，所以就不

Java + Spark SQL + Hive + Maven简单实现和异常问题

2017年04月25 - 一. 前期准备1.linux搭建Java和Scala环境搭建2. linux搭建hadoop+spark+hive分布式集群hadoop分布式集群搭建：hadoop分布式集群搭建spa

基于spark引擎的即席查询服务

2018年05月07 - 项目地址 IQL，多多支持，欢迎star IQL 参考 spark sql在喜马拉雅的使用之xql的load、select、save语法实现了一套基于spark的即席查询服

赞助商广告