在RDMA编程中,处理完成队列(Completion Queue, CQ)是核心任务之一。每个发送或接收请求最终都会在CQ中生成一条完成条目(Work Completion, WC)。如何高效地等待这些完成事件,直接影响应用程序的CPU占用率和响应延迟。
最直接的方法是轮询——循环调用ibv_poll_cq。但轮询会持续占用CPU,不适合等待频率较低的场景。为此,IB Verbs提供了事件驱动的等待机制:ibv_comp_channel配合ibv_get_cq_event。本文将从原理到实践,全面解析这一机制的正确用法。
一、为什么需要ibv_comp_channel?
问题的起点是:CQ本身只是一个内核与用户态共享的环形队列,由硬件直接写入。为了获得“有新完成项”的通知,我们需要一个可等待的文件描述符——这正是ibv_comp_channel提供的。
- ibv_create_comp_channel创建一个完成通道,内部包含一个文件描述符(可通过channel->fd访问)。
- 创建CQ时,将该通道绑定给CQ:ibv_create_cq(…, channel, …)。
- 当CQ中有新的完成项时,内核会向该通道的文件描述符写入一个字节,触发其变为





