hive 导入 mysql文本

栏目: 数据库 · 发布时间: 5年前

内容简介:数据量过大,mysql支持不了。mysql只是个临时方案,最终大数据搭建好了以后,还是需要把mysql的数据,导入到hadoop中。前面提到了另外一种导入方式,请参考:注意:

数据量过大,mysql支持不了。mysql只是个临时方案,最终大数据搭建好了以后,还是需要把 mysql 的数据,导入到hadoop中。

前面提到了另外一种导入方式,请参考: sqoop 从mysql直接导入到hive表

1,在hive中创建表

create table `mytest` (
`log_date` int,
`log_time` int,
`aid` string,
`ticket` string
)
 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE;

2,mysql导出数据

注意: 导出的文本文件,值不要带有双引号,单引号之类的 。例如:

20190114 1547444359 28 aaaaaa
20190115 1547444390 28 bbbbb

3,导入数据到hive中

hive> LOAD DATA (LOCAL) INPATH '/root/mysql.txt' (overwrite) INTO TABLE mytest;

注意:

这里的local是你本机,如果去掉local,会去hdfs里面找。

默认是追加的方式,如果是overwrite,就是覆盖了。


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

恰如其分的软件架构

恰如其分的软件架构

George Fairbanks / 张逸、倪健、高翌翔 / 华中科技大学出版社 / 2013-9-1 / 88.00

本书描述了一种恰如其分的软件架构设计方法。作者建议根据项目面临的风险来调整架构设计的成本,并从多个视角阐述了软件架构的建模过程和方法,包括用例模型、概念模型、域模型、设计模型和代码模型等。本书不仅介绍方法,而且还对方法和概念进行了归类和阐述,将软件架构设计融入开发实践中,与 敏捷开发方法有机地结合在一起,适合普通程序员阅读。 . 这是一本超值的书,案例丰富有趣,言简意赅,阅读轻松。当年......一起来看看 《恰如其分的软件架构》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具