动态任务执行框架想法篇

对于后端而言，数据订正可算是非常非常频繁且常见的事情了，常见的有DB、缓存、内存等数据源中的数据订正，对于非应用内存而言，其他有实体或者可以直接通过官方的提供的控制台连接进行修改的数据订正，相对比较简单，而对于应用内存，如果没有应用内通知并处理相关逻辑，多半就只能重启应用来实现刷新内存缓存了

当然我这里说的也不是内存数据更新，最近遇到的一个问题就是 redis 缓存中的数据有问题，需要订正，而并不是简单的把数据删了就行，需要根据某些数据，做一些计算，然后得出新的数据，并写回到缓存

这样看来好像也不太麻烦，如果没有第三方依赖，大不了写个 python 脚本或者 php 脚本，重新算一下，也没什么毛病

然而实际情况却并不是这样，问题有以下几点：

• 数据经过ProtoBuf进行编码存入redis，反序列化是个问题
• 数据计算有依赖外部服务，如只能通过rpc调用第三方接口，而rpc框架没有提供php或python的sdk

基于此，就想也米有办法，可以直接搞一个项目，可以执行Groovy脚本，在Groovy脚本中实现数据订正逻辑？需求如下

• 支持Groovy脚本的动态更新（支持动态新增，删除和修改脚本）
• Groovy脚本可友好的访问我们需要的外部资源

II. 设计

根据上面的想法，一个简单的设计思路就新鲜出炉了，我们的框架核心只需要支持两点即可：

• 实时加载脚本
• 运行脚本

当然为了扩展，以及提供更优雅的使用环境，则需要支持：

• 丰富的插件支持
  • json序列化插件
  • http插件
  • rpc插件
  • redis缓存插件
  • 自定义各种插件
• 插件可动态加载就更棒了
• 避免蛋疼的jar包冲突

1. 项目结构

项目结构图大致如下

2. 流程说明

a. Task Watcher

主要用来监听所有的Task变动，包括新增，删除or修改脚本，然后将最新的脚本捞出来，扔给框架

b. execute

主体的执行逻辑，主要是解析task（即groovy脚本），并根据task的变更事件，来决定是新增，删除还是更新任务，然后从任务池中停掉旧的任务，执行新的任务

c. plugin

这里提供丰富的第三方插件，供task调用

2. 实现

对于实现，未完待续，下一篇再说

II. 其他

1.一灰灰Blog： https://liuyueyi.github.io/hexblog

一灰灰的个人博客，记录所有学习和工作中的博文，欢迎大家前去逛逛