写一个Spark DataSource的随手笔记

栏目: 服务器 · 发布时间: 6年前

内容简介:最近需要实现一些Spark逻辑计划和物理计划的优化,遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。毕竟装Oracle是个大工程,没有必要为了做个测试单独安装一个Oracle,于是用Docker,这里推荐一下阿里的Docker Oracle镜像库:

最近需要实现一些Spark逻辑计划和物理计划的优化,遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。

获得数据

毕竟装Oracle是个大工程,没有必要为了做个测试单独安装一个Oracle,于是用Docker,这里推荐一下阿里的Docker Oracle镜像库:

https://dev.aliyun.com/detail.html?spm=5176.1972343.2.2.2f075aaaGOYe3m&repoId=1969

按照其方式启动Oracle镜像并sqlplus登录sysdba以后,为了确保scott/tiger没有被锁,还是做了一下解锁操作:

SQL> alter user scott account unlock;

然后退出sqlplus并用scott/tiger重新登录sysdba,并且查看scott的表:

SQL> select table_name from user_tables;

TABLE_NAME
------------------------------
DEPT
EMP
BONUS
SALGRADE

没有问题。

在此只做一些简单的测试,所以并没有使用jdbc方式在test类里获取数据,而是直接拿了一些数据hard code在test类里。


以上所述就是小编给大家介绍的《写一个Spark DataSource的随手笔记》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

游戏化革命:未来商业模式的驱动力

游戏化革命:未来商业模式的驱动力

[美]盖布·兹彻曼、[美]乔斯琳·林德 / 应皓 / 中国人民大学出版社有限公司 / 2014-8-1 / CNY 59.00

第一本植入游戏化理念、实现APP互动的游戏化商业图书 游戏化与商业的大融合、游戏化驱动未来商业革命的权威之作 作者被公认为“游戏界的天才”,具有很高的知名度 亚马逊五星级图书 本书观点新颖,游戏化正成为最热门的商业新策略 游戏化是当今最热门的商业新策略,它能帮助龙头企业创造出前所未有的客户和员工的参与度。商业游戏化策略通过利用从游戏设计、忠诚度计划和行为经济学中所汲取......一起来看看 《游戏化革命:未来商业模式的驱动力》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器