MaxCompute管家详解--管家助力，轻松玩转MaxCompute

当前，管家主要针对MaxCompute中项目、配额以及作业三个核心模块来提供相应的支持。

在项目列表页面可查看当前用户具备的预付费project的所有相关信息，包括项目名称、所属dataworks工作空间、账号、配额组、已用存储、project默认预付费quota组调整，如图3所示。这里需要注意项目名称和所属dataworks工作空间是两个概念，不要混淆了。在项目列表页面点击项目名称会跳转到存储使用趋势的页面来查看项目存储使用的相关情况，并且支持按时段搜索，在存储水位曲线中还可以查看具体到某一个时段的详情（最近1小时、最近6小时、最近12小时、最近1天、最近1周，存储量每1个小时采集一次）；账号是指项目所属的一个访问身份；点击配额组可以查看相应的配额使用情况，在后面会重点进行介绍。除了以上操作之外，管家还提供了一个对项目配额组进行修改的操作，用户可以对项目所属的配额组进行修改，更加方便管理。在将项目迁移到新的配额组之后，如果原来的配额组没有被删除，那么项目会沿用原来的配额组进行作业，如果已经被删除，就会使用新的配额组进行作业，以此来达到资源的最大化利用。

配额管理是MaxCompute的资源管理中的重点也是难点，面对不同的业务需求，用户也有不同的配额管理方式。配额组有4个比较重要的配置参数，具体如下：

（1）预留CU最小配额：单个quota组分配资源的下限。

（2）预留CU最大配额：单个quota组分配资源的上限。

（3）非预留CU最大配额：单个quota组可使用弹性资源的上限。

（4）配额组标签：标签主要是用于指定作业的配额组，如果您的包年包月资源组设置多个二级Quota组，可以在提交作业的时候，指定作业运行的Quota组，可以与project所属Quota组不同。这样设置，能够更加灵活的设置和使用您的计算资源。大家也可以根据具体情况灵活设置标签。

在配额列表页面，可查看当前用户具备的预付费project的相关信息，包括配额组、CU最小配额、CU最大配额、弹性CU最大配额、配额组标签、涵盖项目个数、最近一次配额组操作状态等，如图4所示。

在上文的基础上，下面通过案例来进行具体分析如何更好的使用现有的功能来分配和管理资源，让资源得到更有效的利用。首先，我们需要了解几个关于配额的规则：

（1）预留CU最大配额配置规则：单个子组的最大CU要小于等于默认资源组的最大CU；

（2）预留CU最小配额配置规则：所有子组的最小CU之和要小于等于默认资源组的最小CU；

（3）非预留CU最大配额配置规则：所有子组的弹性最大CU之和要小于等于默认资源组的弹性最大CU；

（4）配额组标签命名规则：配额组标签只允许使用字母、数字、下划线，不同配额组对应标签不要重名，否则作业指定此重名标签，将会随机调度到其中一个配额组；配额组标签调度规则：如果提交作业时设置的Quota Tag和某个配额组属性中的标签相等，这个作业就会被优先调度到这个配额组中，否则会被调度到所属Project指定的配额组中，详细信息请参见官网Quota Tag描述。

在了解清楚了以上几个规则以后，如果进行资源的分配呢？我们以两个具体的问题来了解一下。

首先我们要明白，配置策略跟业务是密不可分的，脱离了业务谈配置是不切实际的。一般来说，在实际配置中我们有资源独享和资源共享两种资源配置策略。资源独享更偏向于重点确保的业务，就是说那些一定要完成的和一定要保障到的业务，而资源共享就没有那么苛刻的要求了，大部分情况下我们都可以采用资源共享的形式来进行配置，这样子就可以避免前置资源的浪费。

假设我们共有预留计算资源60CU，非预留计算资源30CU，由两个部门使用，可以按照如下方式分配：

（1）资源独享方式

这么划分意味着当A组和B组资源均紧张时，A组可以用到20+10的资源，B组可以用到30+10的资源。当A组没有作业时，B组最多可以用到60+10的资源；反之当B组没有资源时，A组可以用到60+10的资源。我们需要注意的是，当采用资源共享方式，如果B组没有作业，A组分配了60（预留最大CU）+10（非预留最大CU）的资源时，之后B组突然有大量作业需要申请资源，这时候需要调度器通知A组释放相应资源之后B组才能开始分配资源进行作业。

在实际业务中，可能随着业务量的增加、作业的复杂度增大，我们可能会遇到作业慢或者资源不足的情况。这里我们给出了三个解决方案：

（1）优化作业代码

我们可通过快照作业的资源使用情况得到top消耗的作业，并尝试进行优化，可参考官网最佳实践来做相应调整。

（2）更换调度策略

若单个配额组资源不足，但其他配额组有足够空闲资源时，建议使用quota tag，可调度到闲置配额组内进行资源周转，或者调整内部配额组之间的资源上下限，增加资源使用的灵活性，或者通过切换project对应的quota组的方式进行重组式管理，前提是取决于业务情况。

（3）扩容

若整体资源不足，且其他待跑任务无重保诉求，建议走非预留扩容；若整体资源不足，且有重保任务持续新增时，建议走预留型扩容并已独享型模式配置或后付费采买。

本文所提到的功能只是MaxCompute管家所提供的功能中的一部分，主要是面向初级用户，后续将会有更多的功能对外开放，也会分享更多的进阶版、高级版的功能，来解决大家工作中的痛点。未来一段时间，MaxCompute管家会有一些新功能与大家见面，比如以下：

资源概览页用来展示用户对应的”包年包月“付费模式下的整体CU使用量、CU资源使用趋势、存储资源使用趋势，方便用户更快速、更便捷的了解当前的资源使用情况。

历史作业快照支持按时间搜索历史作业快照，便于用户对历史作业的资源使用情况的追述。

支持作业owner小批量终止作业，同时支持终止作业历史追述。

（4）分时配额针对于部分用户作业有时段性的要求，增加了分时配额，支持用户对不同配额组进行分时段的动态配额调整，便于用户对周期性任务调度的有效管理。