Functions Debug 终极指南

作者：冉小龙

审校：Jennifer

编辑：Anonymitaet

阅读本文需要约 10 分钟。

问：什么比七个工作日更让人不爽？

答：第八个（debug）。

行话说得好，开发 5 分钟，调试 2 小时。

大兄弟，你咋调试 Pulsar Function 阿？

重启？

撸鸭？

意念？

这也太随缘了吧

今天， Apache 龙 就来教教大家，debug 是一件多么舒坦的事！ :dragon:

--------正经分界线--------

在之前的文章 Java Function 、 Python Function 、 Go Function 中，向大家详细介绍了如何基于自己的场景快速编写并部署 Pulsar  Functions。这篇文章将介绍如何利用 Pulsar 提供的 CLI 对 Functions 进行 Debug。

使用 LogTopic

Pulsar Functions 在设计之初，就考虑到如何对 Pulsar Functions 进行 Debug。

如下图所示，Pulsar Functions 允许用户将自己在 Functions 中定义好的日志信息输出到指定的 LogTopic 中，如果有遇到相关的问题需要从日志信息中获取，用户可以编写 consumer 从指定的 LogTopic 中消费消息，即可查看相关日志信息。

具体使用如下：

import org.apache.pulsar.functions.api.Context;
import org.apache.pulsar.functions.api.Function;
import org.slf4j.Logger;
public class LoggingFunction implements Function {
@Override
public void apply(String input, Context context) {
Logger LOG = context.getLogger();

String messageId = new String(context.getMessageId());

if (input.contains("danger")) {
LOG.warn("A warning was received in message {}", messageId);
} else {
LOG.info("Message {} received\nContent: {}", messageId, input);
}
return null;
}
}

如上述代码所示：

用户可以通过 context.getLogger() 获取 logger 对象并将其赋值给  slf4j 的  LOG  字段，这样用户就可以使用  LOG  字段在 Pulsar Functions 中定义自己想要的日志信息。

当你有日志信息需要输出时，在启动过程中，需要告诉 Pulsar Functions 你期望将日志信息输出到哪个 topic 中，具体使用如下：

bin/pulsar-admin functions create \

--log-topic persistent://public/default/logging-function-logs \
# Other function configs

Functions CLI

./bin/pulsar-admin functions get \

--tenant public \
--namespace default \
--name ExclamationFunctio6

执行如上命令之后，输出如下：

{

"tenant": "public",
"namespace": "default",
"name": "ExclamationFunctio6",
"className": "org.example.test.ExclamationFunction",
"inputSpecs": {
"persistent://public/default/my-topic-1": {
"isRegexPattern": false
}
},
"output": "persistent://public/default/test-1",
"processingGuarantees": "ATLEAST_ONCE",
"retainOrdering": false,
"userConfig": {},
"runtime": "JAVA",
"autoAck": true,
"parallelism": 1
}

通过 get 命令，可以获取到当前 Pulsar Functions 具体的输入、输出，运行的 runtime 是什么，当前 Functions 中有多少个 instance 在运行等信息。

./bin/pulsar-admin functions list \

--tenant public \
--namespace default

执行如上命令后，输出如下：

ExclamationFunctio1

ExclamationFunctio2
ExclamationFunctio3

上述输出说明，在 default 这个 namespace 下，运行了三个 Pulsar Functions。

./bin/pulsar-admin functions trigger \

--tenant public \
--namespace default \
--name ExclamationFunctio6 \
--topic persistent://public/default/my-topic-1 \
--trigger-value "hello pulsar functions"

Function in trigger function has unidentified topic

Reason: Function in trigger function has unidentified topic

./bin/pulsar-admin functions status \

--tenant public \
--namespace default \
--name ExclamationFunctio6 \

执行上述命令后，输出如下：

{

"numInstances" : 1,
"numRunning" : 1,
"instances" : [ {
"instanceId" : 0,
"status" : {
"running" : true,
"error" : "",
"numRestarts" : 0,
"numReceived" : 1,
"numSuccessfullyProcessed" : 1,
"numUserExceptions" : 0,
"latestUserExceptions" : [ ],
"numSystemExceptions" : 0,
"latestSystemExceptions" : [ ],
"averageLatency" : 0.8385,
"lastInvocationTime" : 1557734137987,
"workerId" : "c-standalone-fw-23ccc88ef29b-8080"
}
} ]
}

在 status 命令中，可以查看到当前 Functions 是否处于运行状态，总共接收了多少条消息，成功处理了多少条消息，系统发生过多少次错误，平均延迟为多少等。由于一个 function 可以运行多个 instance，所以可以通过 --instance-id 来具体查看某个 instance 的详细信息。上述示例中, ExclamationFunctio6 的 function 下只运行了一个 instance。

/bin/pulsar-admin functions stats \

--tenant public \
--namespace default \
--name ExclamationFunctio6 \

执行上述命令后，输出如下：

{

"receivedTotal" : 1,
"processedSuccessfullyTotal" : 1,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : 0.8385,
"1min" : {
"receivedTotal" : 0,
"processedSuccessfullyTotal" : 0,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : null
},
"lastInvocation" : 1557734137987,
"instances" : [ {
"instanceId" : 0,
"metrics" : {
"receivedTotal" : 1,
"processedSuccessfullyTotal" : 1,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : 0.8385,
"1min" : {
"receivedTotal" : 0,
"processedSuccessfullyTotal" : 0,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : null
},
"lastInvocation" : 1557734137987,
"userMetrics" : { }
}
} ]
}

--------歪楼分界线--------

学成后我心情爽朗， 想吟诗一首 :sunglasses:

耳闻 码农 鄙视链

三等码农搞架构， 高并低延能吹牛

二等码农搞算法， 吃香喝辣调调参

一等码农参 会议 ， 手拿三分屁屁踢

特等码农有对象， 搞啥我都看不上

想 会议现场 一睹我 一等 码农  Apache 龙 的火力吗？ :fire:

还有私信问我  Apache 龙 是不是 特等 码农的妹纸们  :heart_eyes:

带胆来 Pulsar 深圳 Meetup 现场验货阿 :point_down|type_1_2: