SQL还是那个SQL么?

栏目: 数据库 · 发布时间: 5年前

内容简介:今天MLSQL群里有个小伙伴问到,能把Spark, Flink 这些框架运行在黑莓上么?我回答道:可以作为一个内置SQL计算引擎嵌入(不是数据库),其他可能没啥用了。不过这又引起了我的另外两个思考,第一个是,Spark真的能(或者有必要)跑在移动设备上么?第二个问题是,在传统Web/App开发领域,SQL只是数据库的一个操作语言(DSL),但是在大数据里,SQL已经远远超越了数据库操作语言的范畴,而是数据处理的标准语言,而在MLSQL中,SQL被发挥到极致,是一切数据处理的核心语言,无论爬虫,数据处理,流

前言

今天MLSQL群里有个小伙伴问到,能把Spark, Flink 这些框架运行在黑莓上么?

我回答道:可以作为一个内置 SQL 计算引擎嵌入(不是数据库),其他可能没啥用了。

不过这又引起了我的另外两个思考,第一个是,Spark真的能(或者有必要)跑在移动设备上么?第二个问题是,在传统Web/App开发领域,SQL只是数据库的一个操作语言(DSL),但是在大数据里,SQL已经远远超越了数据库操作语言的范畴,而是数据处理的标准语言,而在MLSQL中,SQL被发挥到极致,是一切数据处理的核心语言,无论爬虫,数据处理,流式,ML(AI)都是用SQL做交互的。 那么为什么在大数据领域SQL会有这种变革呢而在Web/App开发领域没有这种事情发生呢?

Spark真的能(或者有必要)跑在移动设备上么

首先,Spark经过改造完全可以跑在移动设备上的,其次是这也是有必要的。之前跟挖财的小伙伴交流,他们用改造过的Spark引擎可以把一些小数据量的复杂SQL计算缩小到几毫秒,那么如果将该引擎移植到Ios/Android/BlackBerry, 根据我前面提到的第二个思考,我们不再把SQL当做一个数据库操作语言,而是数据处理语言,我在移动设备上完全可以把数据处理全部换到spark引擎上,而且可以实现处理逻辑的热升级(手机端连接服务器,更新SQL脚本)就能更新数据处理逻辑。会不会功耗过高?几毫秒的CPU(GPU/AI芯片)而已。

对 Web/App小伙伴思维模式的冲击

我们知道以前在做Web的时候,分库分表的痛点是查询的时候很难受。而早期Spark无法被Web/App的小伙伴使用,因为他做不到毫秒级的计算延迟。但是有针对性的对Spark做优化(不再针对大数据,而是针对Web/App),得益于Spark的多数据源支持,以及高效的SQL计算引擎,分表分库查询不在是噩梦,我们可以轻易实现。事实上,tidb已经是这么做的了。这是以第一点。

第二点是,很多业务处理环节,是不是都能通过SQL来处理呢?不能说大部分,但是应该相当一部分是可以不用写代码了,而是通过SQL来完成的,那这也意味着,我们可以热更新的好处。所有数据处理无非如下三种模式:

SQL还是那个SQL么?

image.png

而在MLSQL里,我们甚至对API也用SQL做了抽象:

SQL还是那个SQL么?

image.png

最后的实现效果如下:

SQL还是那个SQL么?

image.png

我们会用sql对传递进来的data的每条内容中的feature字段进行处理,得到的结果也会是一张表。

结论

  1. SQL可以在Web/App 领域进一步发扬光大,就像他在大数据里一样。
  2. Spark 团队可以考虑将Spark移植到Web/App领域。
  3. 期待挖财团队的新开源项目。

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

游戏引擎架构

游戏引擎架构

[美] Jason Gregory (杰森.格雷戈瑞) / 叶劲峰 / 电子工业出版社 / 2014-1 / 128.00元

《游戏引擎架构》同时涵盖游戏引擎软件开发的理论及实践,并对多方面的题目进行探讨。本书讨论到的概念及技巧实际应用于现实中的游戏工作室,如艺电及顽皮狗。虽然书中采用的例子通常依据一些专门的技术,但是讨论范围远超于某个引擎或API。文中的参考及引用也非常有用,可让读者继续深入游戏开发过程的任何特定方向。 《游戏引擎架构》为一个大学程度的游戏编程课程而编写,但也适合软件工程师、业余爱好者、自学游戏程......一起来看看 《游戏引擎架构》 这本书的介绍吧!

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具