Linux C/C++ 学习日记（18）：实现一个简易的百万并发服务器（一）：Linux中万物皆文件

注：该文用于个人学习记录和知识交流，如有不足，欢迎指点。

这篇博文难以理解的话可以去看一下：

Linux C/C++ 学习日记（11）select/poll/epoll 实现网络io的多路复用-CSDN博客

首先要想实现一个简易百万并发服务器，你必须要理解它受什么因素限制，这样遇到问题才会解决。代码事实上很简单，最重要的是理解如何修改系统参数。我会跟大家分几个博文逐层深入剖析的！

这篇博文首先先介绍“Linux中的文件”

一、Linux中万物皆文件。

1. 文件概念：

在 Linux 中，“文件” 的本质不是 “存储在磁盘上的数据流”，而是一个包含 “标识符（路径）” 和 “标准操作接口（open/read/write/close）” 的资源载体。

无论是硬盘里的文档、键盘鼠标、网络连接，还是正在运行的进程，Linux 都会给它们分配一个唯一的 “文件路径”（比如 /dev/mouse 对应鼠标，/proc/1 对应 PID 为 1 的进程），并允许用相同的系统调用（如 read() 读数据、write() 写数据）操作它们。

简单说：Linux 把所有资源都 “伪装” 成文件的样子，让操作逻辑统一。

2.常见的 “非普通文件” 类型

普通文件（如文本文件、二进制程序）只是 Linux 文件体系的一部分，更多 “文件” 其实是对硬件、进程、通信通道的抽象。通过 ls -l 命令查看文件权限时，最开头的字符就是 “文件类型标识”：

3. 典型例子：操作 “设备文件” 就是操作硬件

以 “键盘” 为例：

• Linux 会在 /dev/input/ 目录下创建一个对应键盘的设备文件（如 event0）；
• 当你在终端敲键盘时，内核会把键盘按键数据 “写入” /dev/input/event0；

• 终端程序（如 bash）通过 “读取” /dev/input/event0 这个 “文件”，就能获取你的按键操作 ——它不需要专门写 “读取键盘硬件” 的逻辑，只需要用读普通文件的 read() 函数即可。

再比如 “硬盘”：

• 硬盘对应的块设备文件是 /dev/sda（第一块硬盘），其中分区是 /dev/sda1；
• 格式化分区、挂载分区的操作，本质是对 /dev/sda1 这个 “文件” 的配置；
• 读写硬盘数据时，程序不需要直接和硬盘控制器交互，只需对 /dev/sda1 调用 read()/write()。

4. “万物皆文件” 的核心设计优势

5. 常见误区澄清

6. 核心总结

二、/dev/stdin 和 /dev/input/event0 的区别

1.二者对比

2. 直观示例：用 cat 命令看差异

通过 cat 读取两者，能最直接感受到数据内容的不同：

2.1读取 /dev/stdin：

执行 cat /dev/stdin 后，按键盘 hello 再按回车，终端会输出 hello—— 因为 /dev/stdin 传递的是 “处理后的字符流”，和你直接在终端输入的内容一致。

敲入hello按回车，屏幕上显示hello

2.2 读取 /dev/input/event1：

执行 sudo cat /dev/input/event1（需 root 权限），再按键盘，终端会输出一堆乱码 —— 因为 /dev/input/event1 传递的是 “原始二进制事件数据”，cat 无法解析，只能按字节显示为乱码。

执行sudo evtest查看物理键盘对应的文件：发现为event1

输入sudo cat /dev/input/event1

回车（按回车就已经输出乱码了），输入“hello”（不按回车），发现屏幕乱码。

3.核心总结

• 如果你是普通开发者 / 用户：写程序或用命令时，用 /dev/stdin（或直接用 “标准输入”）即可，它能帮你统一处理所有输入来源，不用关心硬件；
• 如果你是硬件 / 驱动开发者：需要获取某一输入设备的原始数据（如调试键盘按键），才需要用 /dev/input/event0 这类设备文件，且需专门解析数据格式。

三、文件描述符的位图：判断哪些文件描述符是否可以被分配

1.内核层与应用层中的位图

两者均基于 “位图” 设计，通过高效的位运算（如标记、查询）快速处理文件描述符状态，只是应用场景不同：open_fds 服务于内核的 FD 分配管理，fd_set 服务于用户态的 I/O 就绪判断。

2.系统默认分配的 3 个标准文件描述符

在 Linux 系统中，每个新进程启动时，内核会默认自动为其分配 3 个标准文件描述符（File Descriptor，FD），它们是进程与外界交互的 “默认输入输出通道”，编号和功能固定，具体如下：

补充说明：

这张图展示的是 Linux 系统中当前 Shell 进程的 “文件描述符（File Descriptor，FD）” 与设备的关联情况，可以通俗理解为 “进程和外界交互的通道”，具体解释如下：

• 第一行 total 0：表示这些 “文件描述符的链接” 本身不占用磁盘空间（因为它们是内存中 “指向设备 / 文件的快捷方式”，不是真正的磁盘文件）。
• 编号 0、1、2：是 Linux 给进程默认分配的 3 个标准文件描述符：
  • 0 -> /dev/pts/0：对应 “标准输入（STDIN）”，默认让进程从当前终端（你操作命令的窗口）接收输入（比如键盘敲命令）；
  • 1 -> /dev/pts/0：对应 “标准输出（STDOUT）”，默认让进程把正常结果显示到当前终端（比如 ls 命令列出的文件）；
  • 2 -> /dev/pts/0：对应 “标准错误输出（STDERR）”，默认让进程把错误信息显示到当前终端（比如 ls 不存在的文件 时的报错）。
• 编号 255 -> /dev/pts/0：通常是当前 Shell 自身与 “控制终端（当前操作窗口）” 的关联，作用和 0/1/2 类似，也是让 Shell 能和终端交互。

总结来说：当前 Shell 进程的 “输入、输出、错误提示”，都默认通过 /dev/pts/0 这个终端窗口来完成～

3. 总结：fd的分配规则

四、fd “共用”文件资源的情景

注意：

struct file是跨进程的内核级对象，其引用计数（f_count）由内核统一管理，与 “哪个进程的 fd 引用它” 无关。只要有新的 fd（无论属于哪个进程）指向该资源，引用计数就会 +1。

同样的，无论哪个进程关闭指向该资源的 fd，都会导致引用计数 -1；只有当所有进程的相关 fd 都被关闭（引用计数减至 0），内核才会释放该struct file资源。

五、编写一个TCP服务器，感受一下fd的分配

netstat -anop | grep port 可以查看端口port的使用情况

// 标准输入输出库（printf、perror等函数）
#include <stdio.h>
// socket相关系统调用（socket、bind、listen、accept等）
#include <sys/socket.h>
// epoll相关系统调用（epoll_create、epoll_ctl、epoll_wait等）
#include <sys/epoll.h>
// 网络地址结构（sockaddr_in、AF_INET等）
#include <netinet/in.h>
// 字符串操作（strlen等，此处未直接使用但包含常规网络编程依赖）
#include <string.h>
// 系统调用（close等）
#include <unistd.h>
// 错误码定义（errno变量，用于判断具体错误类型）
#include <errno.h>

int main()
{
// 定义监听socket的文件描述符（用于接收客户端连接请求）
int socketfd;
// 定义IPv4地址结构（存储服务器监听的IP和端口）
struct sockaddr_in addr;
addr.sin_family = AF_INET; // 地址族：IPv4
addr.sin_addr.s_addr = INADDR_ANY; // 监听所有本地网卡IP（0.0.0.0）
addr.sin_port = htons(8080); // 端口：8080（htons将主机字节序转为网络字节序）

// 创建TCP socket（流式套接字）
// 参数1：AF_INET（IPv4）；参数2：SOCK_STREAM（TCP协议）；参数3：0（默认协议，此处为IPPROTO_TCP）
socketfd = socket(AF_INET, SOCK_STREAM, 0);
if (socketfd == -1) // 创建失败（返回-1）
{
perror("socket creation failed"); // 打印错误原因（依赖errno）
return -1;
}
printf("socketfd: %d\\n", socketfd);

// 启用端口复用（解决服务器重启时"Address already in use"错误）
int reuse = 1; // 1表示启用复用
// setsockopt：设置socket选项
// 参数1：目标socket（监听socket）；参数2：选项层级（SOL_SOCKET表示socket层）
// 参数3：选项名（SO_REUSEADDR表示允许端口复用）；参数4：选项值地址；参数5：选项值长度
if (setsockopt(socketfd, SOL_SOCKET, SO_REUSEADDR, &reuse, sizeof(reuse)) == -1)
{
perror("setsockopt SO_REUSEADDR failed");
close(socketfd); // 失败时关闭已创建的socket
return -1;
}

// 绑定socket到指定IP和端口（将socket与addr结构关联）
// 参数1：监听socket；参数2：通用地址结构指针（需强转）；参数3：地址结构长度
if (bind(socketfd, (struct sockaddr *)&addr, sizeof(addr)) == -1)
{
perror("bind failed");
close(socketfd); // 绑定失败关闭socket
return -1;
}

// 将socket设置为监听状态（开始接收客户端连接请求）
// 参数2：监听队列最大长度（最多同时等待处理5个连接请求）
if (listen(socketfd, 5) == -1)
{
perror("listen failed");
close(socketfd); // 监听失败关闭socket
return -1;
}

// 创建epoll实例（用于I/O多路复用，管理多个socket的事件）
// 参数：已忽略（只需传入一个大于0的数即可），返回epoll实例的文件描述符
int epollfd = epoll_create(1);
printf("epollfd: %d\\n", epollfd);
if (epollfd == -1)
{
perror("epoll_create failed");
close(socketfd); // 创建失败关闭监听socket
return -1;
}

// 定义epoll事件结构（用于描述监控的事件和关联的数据）
struct epoll_event ev, events[10]; // ev：待添加的事件；events：存放触发的事件
ev.events = EPOLLIN; // 监控"可读事件"（客户端连接请求或数据到来）
ev.data.fd = socketfd; // 事件关联的文件描述符（监听socket）

// 将监听socket添加到epoll实例中（开始监控其事件）
// 参数2：操作类型（EPOLL_CTL_ADD表示添加事件）；参数3：目标文件描述符（监听socket）
if (epoll_ctl(epollfd, EPOLL_CTL_ADD, socketfd, &ev) == -1)
{
perror("epoll_ctl failed");
close(socketfd); // 失败关闭监听socket
close(epollfd); // 关闭epoll实例
return -1;
}

// 服务器主循环（持续处理事件）
while (1)
{
// 等待epoll实例中的事件触发（阻塞等待，直到有事件发生）
// 参数2：输出参数，存放触发的事件；参数3：最多处理10个事件；参数4：超时时间（-1表示永不超时）
int nfds = epoll_wait(epollfd, events, 10, -1);
if (nfds == -1) // 等待失败（如被信号中断）
{
perror("epoll_wait failed");
break; // 退出循环，结束服务器
}

// 遍历所有触发的事件（nfds为触发的事件数量）
for (int n = 0; n < nfds; ++n)
{
// 判断事件是否来自监听socket（新客户端连接请求）
if (events[n].data.fd == socketfd)
{
// 接受客户端连接（获取与客户端通信的socket描述符connfd）
// 参数2、3：客户端地址信息（此处为NULL，表示不关心客户端地址）
int connfd = accept(socketfd, NULL, NULL);
if (connfd == -1) // 接受连接失败
{
perror("accept failed");
continue; // 继续处理其他事件
}
printf("clientfd: %d\\n", connfd); // 打印新连接的fd

// 定义新连接的epoll事件（监控其可读事件）
struct epoll_event ev;
ev.events = EPOLLIN; // 监控"可读事件"（客户端发送数据）
ev.data.fd = connfd; // 关联新连接的fd

// 将新连接的socket添加到epoll实例（开始监控其数据到来）
if (epoll_ctl(epollfd, EPOLL_CTL_ADD, connfd, &ev) == -1)
{
perror("epoll_ctl add connfd failed");
close(connfd); // 添加失败关闭该连接
continue;
}
}
// 事件来自已连接的socket（客户端发送数据或断开连接）
else
{
char buffer[1024]; // 用于存储接收的数据
int connfd = events[n].data.fd; // 获取当前处理的连接fd

// 接收客户端数据（从connfd读取数据到buffer）
// 参数3：最大读取长度（1024字节）；参数4：0（默认标志）
int bytes_read = recv(connfd, buffer, 1024, 0);

// 处理接收结果：读取失败或客户端关闭连接
if (bytes_read <= 0)
{
perror("recv failed"); // 打印错误（可能是客户端主动关闭，此时bytes_read=0）
close(connfd); // 关闭连接
// 从epoll实例中移除该连接（停止监控）
epoll_ctl(epollfd, EPOLL_CTL_DEL, connfd, NULL);
}
// 客户端正常发送数据
else
{
printf("Received: %s\\n", buffer); // 打印接收的内容
// 将接收到的数据原样发送回客户端（回显）
// 参数3：发送长度（实际接收的字节数）
send(connfd, buffer, bytes_read, 0);
}
}
}
}

// 程序退出时关闭文件描述符（实际循环break后会执行）
close(socketfd);
close(epollfd);
return 0;
}

运行代码

然后用网络助手工具发起一个连接（A）

再发起一个连接（B）

断掉A连接后立马发起一个连接（C)：

发现clientfd为7

断掉连接C后过一段时间再发起连接

发现clientfd为5。

总结：

1. sockfd是一个文件描述符，是整数 （数量有限制）。系统默认占（0，1，2），所以网络连接时 生成的fd是从3开始的。

2.情况：现有clientfd：5、6，现在断开5，系统会对该文件描述符进行回收（需要时间timewait）。再次连接：

情况1：新的fd：7（在timewait内）

情况2：新的fd：5（timewait之后再连接）