526互联

grpc是基于http/2协议的高性能的rpc框架

发布时间 2023-12-29 13:41:30作者: 博客猿马甲哥

师傅领进门，修行在个人，跟着官方脚手架demo了grpc后，之后就需要扩展前后知识边界，下面总结grpc的前世今生和最佳实践。
https://www.cnblogs.com/JulianHuang/p/14441952.html

  1. grpc是基于http/2协议的高性能的rpc框架
  2. 为什么已经有http？ 还需要grpc？
  3. 八股文都说grpc是基于http2的rpc框架，到底利用了http2的什么特性 ？
  4. 一个grpc内存泄漏的例子

grpc是基于http/2协议的高性能的rpc框架。

提取句式中关键信息：rpc框架、 http2、 高性能

1.落地宾语-rpc框架

远程过程调用 remote process call；
程序可以像调用本地函数和本地对象一样， 达成调用远程服务的效果（不用意识到是远程服务），rpc屏蔽了底层的通信细节和打解包细节。

跟许多rpc协议一样， grpc也是基于IDL（interface define lauguage）来定义服务协议。

rpc的开发模式， 必然强调契约优先， client和server端首先约定service的结构(包括一系列方法的组合、每个方法具体签名)。
对这个结构的描述，gRPC 默认是用Protocol Buffer去实现的。

syntax = "proto3";

option csharp_namespace = "GrpcAuthor";

package greet;

// The greeting service definition.
service Greeter {
  // Sends a greeting
  rpc SayHello (HelloRequest) returns (HelloReply);
}

// The request message containing the user's name.
message HelloRequest {
  string name = 1;
}

// The response message containing the greetings.
message HelloReply {
  string message = 1;
}

rpc框架两个关键通用部件：

  • channel: 通信信道
  • stub： 是client的抽象，中文名叫存根。

① 建立与grcp服务端的通信信道;
② 基于步骤①的信道使用服务名Greet建立grpc服务在客户端的存根， 就像服务Greet是本地服务一样;
③ 用步骤②的grpc服务存根发起grpc调用GreeterClient()，就像GreeterClient是本地方法一样。

var channel = GrpcChannel.ForAddress(
    "http:///my-example-host",
    new GrpcChannelOptions { Credentials = ChannelCredentials.Insecure });
var client = new Greet.GreeterClient(channel);

var response = await client.SayHelloAsync(new HelloRequest { Name = "world" });

rpc 是一种久远的通信框架， http是通信协议。

2. 目前市面流行http， 为什么还需要grpc？

其实rpc框架比 http协议更早出来。
tcp协议于70年代诞生，tcp是一种可靠的、面向连接的、基于字节流的传输层协议。

tcp粘包？
关于tcp的定语和修饰词也很关键，正因为是字节流，就如同躺在水流中的0/1串， 这些0/1串是没有任何边界的，应用层传到tcp层的数据不是以消息报为单位向对面主机发送，而是以字节流的形式流淌在tcp层， 在tcp传输层由tcp层的协议进行切割和组包， 对端接收的时候没能正确还原发送端的消息报。
tcp粘包问题并不是tcp协议的弊端，而是我们在应用层发送和接收数据需要对数据分段，而传输层是无边界的0/1串之间的矛盾。

在70到90年代之后，互联网并不发达，很多都是client、server点对点的传输，所以在那个年代rpc很活跃，client、server双方约定服务结构，以[类本地调用]的形态通信。

90年代，随着it产业的蓬勃发展，计算机走进了千家万户，90年代初期诞生了浏览器， 浏览器与上面的C/S结构最大的不同是访问的服务端对象是千万家不同的服务提供方。

再像C/S那样一对一提前沟通契约就不合适了， 故浏览器和web服务器作为一种特殊的C/S需要约定一种【固定的、能自表述的传输格式】， 于是诞生了适用于B/S端的http协议。 http协议不再有rpc双方已知的本地服务名和服务方法， 服务和服务方法被金演化成对远程主机的资源请求。

所以，我们该问的不是“既然有HTTP协议，为什么要有RPC”，而是应该问“为什么有rpc，还需要有http”。

从上面的前世今生可以知道， rpc是通信框架，http是通信协议，rpc可以基于tcp，udp，http/2协议来实现。

grpc在众多rpc框架中脱颖而出，取决于底层的http2基础设施。

3. grpc到底利用了http/2的什么特性？

回过头来看grpc的连两个定语 ① http/2 ② 高性能。

grpc底层传输使用http/2，http/2兼容http1.1语义,还有如下优势

http2 http1.1
用于数据传输的二进制分帧 http1.1是基于文本协议
同一tcp连接支持流式传输，故支持发送多个并行请求、调用 应答模型：http1.1在一个tcp连接上完成[请求/响应]是串行的
减少网络使用率的标头压缩 头部带有大量信息，每次都要重复发送

http2的二进制分帧、流式传输 能力支撑了grpc框架近乎本地的实时服务互调；

http2的多路复用（单tcp连接上并发多个请求，不多占文件描述符）、二进制编码协议、头部压缩支撑了grpc本地互调的高性能。

这里要指出：

  • HTTP/2 上的通信只需要在一个TCP连接完成，在这个连接上可见的形态是帧frame和流stream。

  • 而消息(或者说业务调用，业务上的逻辑发送单位)由一或多个帧组成，这些帧可以乱序发送，然后根据每个帧首部的流标识符重新组装。

  • "gRPC双向流通信streaming"与"http2的流式stream传输"是一个东西吗？
    http2流式传输stream是一种底层的传输方式，其作用是支撑单连接多路复用 。
    grpc流式通信streaming，更接近业务通信级别的通信方式，grpc流式通信可用于替代高性能场景下的一元gRPC调用。

我们假设HTTP/2协议中1次RPC请求使用1个并发Stream，每个RPC消息又可 通过帧体中 Length-Prefixed Message 头部确立了边界，这样，在 Stream 中连续地发送多个 DATA 帧，就可以实现流模式 RPC。
https://juejin.cn/post/7249522846211801147

tcp连接现在是性能瓶颈

底层的http2协议给予了grpc很大的性能表现，但同时也带来了新的性能瓶颈， 现在现在压力给到了tcp连接。

通常情况下,一个HTTP/2 tcp连接中流的数量是有限制的，一般服务器默认为100,不同的语言有不同的应对策略。

.net

.net tcp连接上默认流数量为100，当该连接中的grpc调用导致到达"连接流的限制"，新的grpc调用会进行排队,这个时候会出现因Concurrent stream=100引起的性能问题。

.NET引入了EnableMultipleHttp2Connections可在此时产生新的连接对象。

var channel = GrpcChannel.ForAddress("https://localhost", new GrpcChannelOptions
{
    HttpHandler = new SocketsHttpHandler
    {
        EnableMultipleHttp2Connections = true,

        // ...configure other handler settings
    }
});

golang

[golang tcp连接上流数量的默认限制也是100](https://github.com/grpc/grpc-go/blob/master/internal/transport/http2_client.go）defaultMaxStreamsClient =100.
可通过ServerOption: MaxConcurrentStreams修改， 从实现上默认的并发流的限制，被设计成池的概念，

类似与C# 也有利用tcp连接池来规避该问题的方案, 按下不表。
https://segmentfault.com/a/1190000041716350?utm_source=sf-similar-article
https://github.com/shimingyah/pool

我们先来分析grpc基于http2 stream概念发起调用的源码。

创建一个gRPC 客户端连接，会创建的几个协程：

1）transport.loopyWriter.run 往服务端发送数据协程

2）transport.http2Client.reader 读取服务端数据协程

http2Client的基础结构

// 源码所在文件：google.golang.org/grpc/http2_client.go
// http2Client 实现了接口 ClientTransport
// http2Client implements the ClientTransport interface with HTTP2.
type http2Client struct {
  conn net.Conn       // underlying communication channel
  loopy *loopyWriter  // 生产和消费关联的队列在这里面，所在文件：controlbuf.go

  // controlBuf delivers all the control related tasks (e.g., window
	// updates, reset streams, and various settings) to the controller.
	controlBuf *controlBuffer // 所在文件：controlbuf.go
  
  maxConcurrentStreams  uint32
  streamQuota           int64
  streamsQuotaAvailable chan struct{}
  waitingStreams        uint32
  
  initialWindowSize int32
}

type controlBuffer struct {
  list *itemList // 队列
}

type loopyWriter struct {
  // 关联上 controlBuffer，
  // 消费 controlBuffer 中的队列 list，
  // 生产 由http2Client通过controlBuffer 进行。
  cbuf *controlBuffer
}

创建grpc客户端的行为

func newHTTP2Client(connectCtx, ctx context.Context, addr resolver.Address, opts ConnectOptions, onPrefaceReceipt func(), onGoAway func(GoAwayReason), onClose func()) (_ *http2Client, err error) {
  conn, err := dial(connectCtx, opts.Dialer, addr.Addr)
  t.controlBuf = newControlBuffer(t.ctxDone) // 含发送队列的初始化

  if t.keepaliveEnabled {
		t.kpDormancyCond = sync.NewCond(&t.mu)
		go t.keepalive() // 保活协程
	}
  
  // Start the reader goroutine for incoming message. Each transport has
	// a dedicated goroutine which reads HTTP2 frame from network. Then it
	// dispatches the frame to the corresponding stream entity.
  go t.reader()
  
  // Send connection preface to server.
	n, err := t.conn.Write(clientPreface)
  
  go func() {
    t.loopy = newLoopyWriter(clientSide, t.framer, t.controlBuf, t.bdpEst)
    err := t.loopy.run()
  }
}

特别说明：
每一次 gRPC 调用，客户端均会创建一个新的 Stream，
该特性使得同一 gRPC 连接可以同时处理多个调用。请求的发送并不是同步的，而是基于队列的异步发送。

// 源码所在文件：internal/transport/controlbuf.go
func (l *loopyWriter) run() (err error) {
  // 通过 get 间接调用 dequeue 和 dequeueAll
  for {
    it, err := l.cbuf.get(true)
    if err != nil {
			return err
		}
		if err = l.handle(it); err != nil {
			return err
		}
		if _, err = l.processData(); err != nil {
			return err
		}
  }
}

每一个gRPC客户端连接均有一个自己的队列，gRPC 并没有直接限定队列大小，所以如果不加任何限制则会内存暴涨，直到OOM发生。

这里我们结合内存泄漏的案例加深tcp连接在grpc调用中的独特作用。

go func() {
		for {
			ctx, cancel := context.WithTimeout(context.Background(), time.Second*3)
			defer cancel()
			resp, err := c.election.Leader(ctx)
			if err != nil {
				log.WithError(err).Errorf("get leader error. test")
			} else {
				log.Infof("get test leader success :  %s", string(resp.Kvs[0].Value))
			}
			 // cancel()
		}
	}()

pprof 显示这个election.Leader函数导致的内存持续增长。

bug表象

etcd v3 发起的请求为grpc请求，

  • 因为从closed信道能持续读取零值，形成死循环。

  • 死循环中，用于上下文释放资源的defer cancel() 无法得到执行，因为是在函数级别。

  • 每次grpc调用均形成缓慢内存泄漏。