1.启动spark-shell 需要加上mysql jar位置
spark-shell --master local[2] --jars /Users/walle/app/mysql-connector-java-8.0.11.jar
2. 简单sql
spark.sql("show databases").show spark.sql("show tables").show spark.sql("use sparktest") spark.sql("select * from student").show
3. 代码中用SparkSession
package com.waitingfy object sparkhive { def main(args: Array[String]): Unit = { import java.io.File import org.apache.spark.sql.{Row, SaveMode, SparkSession} case class Record(key: Int, value: String) // warehouseLocation points to the default location for managed databases and tables val warehouseLocation = new File("spark-warehouse").getAbsolutePath val spark = SparkSession .builder() .master("local[2]") .appName("Spark Hive Example") .config("spark.sql.warehouse.dir", warehouseLocation) .enableHiveSupport() .getOrCreate() import spark.implicits._ import spark.sql sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING) USING hive") sql("LOAD DATA LOCAL INPATH '/usr/local/Cellar/spark-2.3.0/examples/src/main/resources/kv1.txt' INTO TABLE src") // Queries are expressed in HiveQL // sql("SELECT * FROM src").show() val sqlDF = sql("SELECT key, value FROM src WHERE key < 10 ORDER BY key") sqlDF.show() spark.close() } }4352
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- Tensorflow数据读取指南
- Kafka学习笔记 -- 读取数据
- Tensorflow数据读取机制剖析
- 如何远程读取数据库页面?
- Pytorch读取,加载图像数据(一)
- Perl读取mysql数据库
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
XML、JSON 在线转换
在线XML、JSON转换工具
HEX CMYK 转换工具
HEX CMYK 互转工具