grpc中的dns负载均衡

grpc中的dns负载均衡

(金庆的专栏 2018.8)

grpc-go 中如下连接服务器，请求将在多个IP之间轮转。

conn, err := grpc.Dial(
        "dns:///rng-headless:8081",
        grpc.WithBalancerName(roundrobin.Name),
        grpc.WithInsecure())

标准的目标名应该是这样的： "dns://authority/endpoint_name" ,

此处 authority 为空，详见： https://github.com/grpc/grpc/blob/master/doc/naming.md

服务器开3个实例，所有请求在3个实例上轮转：

[jinqing@host-10-2-3-4 RoundRobin]$ kubectl run -it --rm jinqing-roundrobin --image=jinq0123/roundrobin:4
If you don't see a command prompt, try pressing enter.
2018/08/28 10:18:01 request 7754383576636566559
2018/08/28 10:18:02 request 2543876599219675746
2018/08/28 10:18:03 request 927204261937181213
2018/08/28 10:18:04 request 7754383576636566559
2018/08/28 10:18:05 request 2543876599219675746
2018/08/28 10:18:06 request 927204261937181213
...

服务器返回一个随机数，不同实例的随机数不同。代码是从

https://github.com/kcollasarundell/balancing-on-k8s 修改的。

...
const (
        port = ":8081"
)

type server struct{}

var r int64

func init(){
    rand.Seed(time.Now().UnixNano())
    r = rand.Int63()
}

func (s *server) Rng(context.Context, *rng.Source) (*rng.RN, error) {
        return &rng.RN{RN: r}, nil
}

func main() {
        lis, err := net.Listen("tcp", port)
        if err != nil {
                log.Fatalf("failed to listen: %v", err)
        }
        s := grpc.NewServer()
        rng.RegisterRngServer(s, &server{})
        // Register reflection service on gRPC server.
        reflection.Register(s)

        if err := s.Serve(lis); err != nil {
                log.Fatalf("failed to serve: %v", err)
        }
}

先编译，打包成镜像，然后用 balancing-on-k8s\backend\kube.yaml 运行：

kubectl apply -f kube.yaml

backend\kube.yaml 创建了一个 ClusterIP 服务和一个 Headless 服务，部署了 3 个服务器实例。

[jinqing@host-10-2-3-4 RoundRobin]$ kubectl get svc
NAME           TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
kubernetes     ClusterIP   10.96.0.1       <none>        443/TCP             93d
rng-cluster    ClusterIP   10.111.30.205   <none>        8081/TCP            4h
rng-headless   ClusterIP   None            <none>        8081/TCP,8080/TCP   4h

客户端是一个简单的grpc, 定时发送请求，打印返回的随机数。

balancing-on-k8s\clientSideBalancer\RoundRobin\main.go 中的地址需要添加端口，

不然grpc会去连接 443 端口而失败。

扩容后，测到大概3分钟后才看到负载转移。缩容后会立即生效。

kubectl scale --replicas=5 deployment/rng

如果是 ClusterIP 服务, 则服务名对应一个ClusterIP;

如果是 Headless 服务，则服务名对应各个Pod的IP:

/ # nslookup rng-headless
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   rng-headless.default.svc.cluster.local
Address: 10.244.3.27
Name:   rng-headless.default.svc.cluster.local
Address: 10.244.0.108
Name:   rng-headless.default.svc.cluster.local
Address: 10.244.2.66

/ # nslookup rng-cluster
Server:         10.96.0.10
Address:        10.96.0.10#53

Name:   rng-cluster.default.svc.cluster.local
Address: 10.111.30.205

/ #

如果去除 “dns:///”, 仅仅是域名加端口：

conn, err := grpc.Dial(
        "rng-headless:8081",
        grpc.WithBalancerName(roundrobin.Name),
        ...

则只会请求同一个实例。只有当该实例pod被删除后才会切换到另一个实例。

使用缩容时发现会优先删除没有客户端连接的实例。

用2个客户端连接到不同服务器实例，然后缩容为1实例，就可以看到请求切换。

如果客户端和服务器数量很大，这个dns负载均衡就不合适了，因为客户端会连接每个服务器实例。

参考：

Exploring Kubernetes Service Discovery and loadbalancing ( https://kca.id.au/post/k8s_service/ )