写一个Spark DataSource的随手笔记

栏目: 服务器 · 发布时间: 6年前

内容简介：最近需要实现一些Spark逻辑计划和物理计划的优化，遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。毕竟装Oracle是个大工程，没有必要为了做个测试单独安装一个Oracle，于是用Docker，这里推荐一下阿里的Docker Oracle镜像库：

最近需要实现一些Spark逻辑计划和物理计划的优化，遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。

获得数据

毕竟装Oracle是个大工程，没有必要为了做个测试单独安装一个Oracle，于是用Docker，这里推荐一下阿里的Docker Oracle镜像库：

https://dev.aliyun.com/detail.html?spm=5176.1972343.2.2.2f075aaaGOYe3m&repoId=1969

按照其方式启动Oracle镜像并sqlplus登录sysdba以后，为了确保scott/tiger没有被锁，还是做了一下解锁操作：

SQL> alter user scott account unlock;

然后退出sqlplus并用scott/tiger重新登录sysdba，并且查看scott的表：

SQL> select table_name from user_tables;

TABLE_NAME
------------------------------
DEPT
EMP
BONUS
SALGRADE

没有问题。

在此只做一些简单的测试，所以并没有使用jdbc方式在test类里获取数据，而是直接拿了一些数据hard code在test类里。

以上所述就是小编给大家介绍的《写一个Spark DataSource的随手笔记》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农网的支持！

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

Web Caching

Duane Wessels / O'Reilly Media, Inc. / 2001-6 / 39.95美元

On the World Wide Web, speed and efficiency are vital. Users have little patience for slow web pages, while network administrators want to make the most of their available bandwidth. A properly design......一起来看看《Web Caching》这本书的介绍吧!

码农工具

HTML 压缩/解压工具

在线压缩/解压 HTML 代码

HTML 编码/解码

RGB HSV 转换

RGB HSV 互转工具