内容简介:数据量过大,mysql支持不了。mysql只是个临时方案,最终大数据搭建好了以后,还是需要把mysql的数据,导入到hadoop中。前面提到了另外一种导入方式,请参考:注意:
数据量过大,mysql支持不了。mysql只是个临时方案,最终大数据搭建好了以后,还是需要把 mysql 的数据,导入到hadoop中。
前面提到了另外一种导入方式,请参考: sqoop 从mysql直接导入到hive表 。
1,在hive中创建表
create table `mytest` ( `log_date` int, `log_time` int, `aid` string, `ticket` string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' STORED AS TEXTFILE;
2,mysql导出数据
注意: 导出的文本文件,值不要带有双引号,单引号之类的 。例如:
20190114 1547444359 28 aaaaaa 20190115 1547444390 28 bbbbb
3,导入数据到hive中
hive> LOAD DATA (LOCAL) INPATH '/root/mysql.txt' (overwrite) INTO TABLE mytest;
注意:
这里的local是你本机,如果去掉local,会去hdfs里面找。
默认是追加的方式,如果是overwrite,就是覆盖了。
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- sql server2008导入文本文件
- react-native – 从React native中的本地json文件导入文本
- ASP.NET Aries 高级开发教程:Excel导入之多表高级导入配置(中)
- 将Excel文件导入数据库(POI+Excel+MySQL+jsp页面导入)第一次优化
- [MySQL]备份和导入
- Android Studio 导入源码
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Web协议与实践
克里希纳穆尔蒂 (KrishnamurthyBalachander) / 范群波 / 科学出版社 / 2003-7 / 46.0
本书全面论述了传输Web内容的系统和协议,重点讲述了Web中业已成熟和稳定的技术,如TCP/IP协议及DNS技术、HITP/1.0的设计及其与TCP之间的交互;深入阐述了Web高速缓存技术和多媒体流播技术的最新技术动态;分析了Apache Web服务器和Squid代理;还探讨了通信量的分析和测量技术。书中使用了大量示例、技术发展水平报告以及案例分析来阐述Web的工作原理和各个组件之间的交互。本书是......一起来看看 《Web协议与实践》 这本书的介绍吧!