摩柯社区 - 一个极简的技术知识社区

1. 高并发网络编程概述 在当今互联网应用飞速发展的时代，高并发网络编程已成为后端开发中至关重要的技术领域。随着用户数量的急剧增长和应用功能的日益复杂，服务器需要同时处理大量的网络连接请求，例如电商平台的抢购活动、社交媒体的实时消息推送等场景，都对服务器的并发处理能力提出了极高的要求。 传统的网络编程模型，如阻塞 I/O 模型，在处理少量连接时表现良好。但当连接数增多时，每个连接都会阻塞线程，导致线程资源大量消耗，系统性能急剧下降。为了解决这一问题，非阻塞 I/O 模型应运而生，它允许在没有数据可读或可写时，系统调用立即返回，避免线程阻塞。然而，单纯的非阻塞 I/O 需要应用程序不断轮询文件描述符，这在高并发场景下会造成大量的 CPU 资源浪费。 为了更高效地处理高并发网络连接，多路复用 I/O 模型被广泛应用。多路复用 I/O 允许应用程序通过一个系统调用监视多个文件描述符，一旦有文件描述符就绪，就可以通知应用程序进行相应处理。常见的多路复用 I/O 技术有 select、poll 和 epoll，其中 epoll 在高并发场景下展现出了独特的优势。 2. epoll 原理

select、poll、epoll在文件描述符管理上的异同 一、文件描述符基础概念 在深入探讨 select、poll、epoll 对文件描述符的管理之前，我们先来明确文件描述符的基本概念。 文件描述符（File Descriptor，FD）是一个非负整数，它是 Linux 内核为了高效管理已被打开的文件（包括普通文件、套接字、管道等）所创建的索引值。当程序打开一个现有文件或者创建一个新文件时，内核会返回一个文件描述符。在 Unix 类系统中，标准输入、标准输出和标准错误输出对应的文件描述符分别是 0、1 和 2。 文件描述符是进程与内核交互的桥梁，进程通过文件描述符来对相应的文件进行各种操作，如读取、写入、控制等。例如，在使用 read 函数从文件中读取数据时，就需要传入文件描述符来指定要读取的文件。 二、select对文件描述符的管理 1. select的工作原理 select 是最早出现的多路复用技术，它允许进程监视多个文件描述符的状态变化，比如是否可读、可写或者有异常发生。其函数原型如下： c int select(int nfds, fd_set readfds

1. 理解 IO 多路复用技术基础 在后端开发的网络编程中，当面临大量并发连接时，传统的每个连接对应一个进程或线程的模型会因为资源消耗过大而变得不切实际。这时候，IO 多路复用技术就应运而生。 IO 多路复用，简单来说，就是通过一种机制，一个进程可以监视多个文件描述符（fd），一旦某个描述符就绪（一般是读就绪或者写就绪），内核能够通知程序进行相应的读写操作。这样，就避免了在每个连接上阻塞等待 I/O 操作完成，大大提高了系统资源的利用率。 在 Linux 系统中，常用的 IO 多路复用技术有 select、poll 和 epoll。 1.1 select 机制 select 是最早的多路复用机制，它通过设置一组文件描述符集合，然后调用 select 函数，等待其中一个或多个文件描述符变为就绪状态。 c include <sys/select.h> include <sys/types.h> include <unistd.h> include <stdio.h> include <stdlib.h> include <string.h> include <arpa/inet

网络编程基础 在深入探讨 I/O 模型与多路复用技术之前，我们先来回顾一下网络编程的基础知识。网络编程主要涉及在不同设备之间通过网络协议进行数据传输和交互。在网络编程中，我们通常使用套接字（Socket）来实现进程间的网络通信。 套接字（Socket） 套接字是一种抽象层，它为应用程序提供了一种访问网络服务的方式。它可以看作是两个进程之间通信的端点。在 Unix 系统中，套接字被视为一种特殊的文件描述符，这意味着我们可以使用传统的文件 I/O 操作（如 read 和 write）来与套接字进行交互。 在 Python 中，使用 socket 模块来创建和操作套接字。以下是一个简单的 TCP 服务器示例： python import socket 创建一个 TCP 套接字 server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 绑定到指定地址和端口 server_socket.bind(('127.0.0.1', 8888)) 开始监听 server_socket.listen(5) pr

一、概述 在后端开发的网络编程中，select、poll和epoll是三种重要的I/O多路复用机制，它们允许程序同时监控多个文件描述符（如套接字）的状态变化，以实现高效的并发处理。在实际应用中，内存占用和效率是评估这些机制的关键指标。了解它们在这两方面的特性，对于优化网络应用程序的性能至关重要。 二、select 2.1 select原理 select函数的原型如下： c include <sys/select.h> include <sys/time.h> include <sys/types.h> include <unistd.h> int select(int nfds, fd_set readfds, fd_set writefds, fd_set exceptfds, struct timeval timeout); select通过轮询方式检查readfds、writefds和exceptfds这三个描述符集合中是否有文件描述符准备好进行相应的I/O操作（读、写或异常）。nfds是需要检查的文件描述符集合中最大文件描述符加1。timeou

1. UDP 协议概述 UDP（User Datagram Protocol）是一种无连接的传输层协议，与 TCP（Transmission Control Protocol）相比，它具有简单、高效的特点。UDP 不保证数据的可靠传输，也不维护连接状态。在 UDP 通信中，发送方将数据封装成 UDP 数据包（Datagram）直接发送出去，而接收方则从接收队列中获取这些数据包。 1.1 UDP 数据包结构 UDP 数据包由首部和数据两部分组成。首部长度固定为 8 字节，包含源端口号（16 位）、目的端口号（16 位）、UDP 长度（16 位，包括首部和数据部分）以及 UDP 校验和（16 位）。数据部分则是应用层交付给 UDP 的数据。 1.2 UDP 的应用场景 UDP 适用于对实时性要求较高、对数据准确性要求相对较低的应用场景，例如实时视频流传输、音频流传输、在线游戏等。在这些场景中，少量的数据丢失或乱序可能不会对整体的用户体验产生严重影响，但实时性的保证至关重要。 2. IO 多路复用技术原理 IO 多路复用（IO Multiplexing）是一种允许应用程序同时监

高性能并发编程基础 在后端开发的网络编程中，高性能并发编程是提升系统性能与响应能力的关键。并发编程允许程序同时执行多个任务，充分利用多核处理器的优势，提高资源利用率。但并发编程也带来了诸多挑战，了解其基础概念是避开陷阱和优化策略的前提。 并发与并行 - 并发（Concurrency）：指在同一时间段内，多个任务交替执行，单核处理器通过快速切换上下文来模拟同时执行多个任务。例如，一个单核 CPU 在多个线程间快速切换，给用户一种这些线程同时运行的错觉。 - 并行（Parallelism）：指在同一时刻，多个任务真正地同时执行，这需要多核处理器的支持。每个核心可以独立处理一个任务，实现真正意义上的多任务同时运行。 线程与进程 - 进程（Process）：是程序在操作系统中的一次执行实例，拥有独立的内存空间、文件描述符等资源。进程间相互隔离，通信相对复杂，开销较大。例如，打开一个浏览器应用程序，这就是一个进程，它有自己独立的内存和资源。 - 线程（Thread）：是进程内的一个执行单元，共享进程的资源，如内存空间、文件描述符等。线程间通信相对容易，但也容易引发资源竞争问题。

多进程与多线程基础概念 进程的概念 进程是操作系统进行资源分配和调度的基本单位。每个进程都有自己独立的地址空间，包括代码段、数据段和堆栈段等。当一个程序被加载到内存中执行时，就会创建一个进程。例如，当我们在操作系统中启动一个浏览器程序，操作系统会为这个浏览器程序创建一个进程，该进程拥有自己独立的资源，如内存空间、文件描述符等。不同进程之间相互隔离，它们之间的通信需要通过特定的进程间通信（IPC，Inter - Process Communication）机制，如管道、消息队列、共享内存等。 线程的概念 线程是进程中的一个执行单元，是操作系统能够进行运算调度的最小单位。一个进程可以包含多个线程，这些线程共享进程的地址空间和资源，如代码段、数据段、打开的文件等。以浏览器进程为例，浏览器进程可能包含多个线程，如负责页面渲染的线程、处理网络请求的线程等。这些线程共享浏览器进程的资源，它们可以直接访问进程中的变量和数据结构。线程之间的通信相对简单，因为它们共享内存空间，可以直接读写共享变量。然而，这也带来了同步和互斥的问题，需要使用锁等机制来保证数据的一致性。 多进程在大型系统中的应

线程池的基本概念 在深入探讨线程池的工作原理与实现之前，我们先来明确线程池的基本概念。线程池，简单来说，就是一种管理和复用线程的机制。在传统的多线程编程中，每当有新的任务到来时，就会创建一个新的线程去处理该任务。这种方式虽然简单直接，但存在一些明显的弊端。 例如，线程的创建和销毁是有一定开销的。每次创建线程，操作系统需要为其分配内存空间，设置线程上下文等；而销毁线程时，同样需要进行一系列的清理工作。如果任务数量频繁变动，频繁地创建和销毁线程会消耗大量的系统资源，严重影响程序的性能。 线程池则通过预先创建一定数量的线程，并将这些线程存储在一个“池子”中。当有任务到达时，从线程池中取出一个空闲线程来处理任务；任务完成后，线程不会被销毁，而是返回线程池等待下一个任务。这样就避免了频繁创建和销毁线程带来的开销，提高了系统的性能和响应速度。 线程池的工作原理 核心组件 1. 线程集合：这是线程池中的线程实例的集合，这些线程在创建线程池时被初始化。线程池会根据配置维护一定数量的核心线程，即使在空闲状态下，这些核心线程也不会被销毁。此外，在任务数量超过一定阈值时，线程池还可能创建额外的非

多线程编程基础 在深入探讨原子操作与无锁编程之前，先来回顾一下多线程编程的一些基础概念。多线程编程允许在一个程序中同时运行多个线程，每个线程都可以独立执行一段代码。这种编程模型在提高程序性能、利用多核处理器能力方面具有显著优势，但同时也带来了一些挑战，比如线程安全问题。 线程安全问题 当多个线程同时访问和修改共享资源时，就可能出现线程安全问题。例如，假设有两个线程同时对一个共享变量进行自增操作： c include <stdio.h> include <pthread.h> int shared_variable = 0; void increment(void arg) { for (int i = 0; i < 1000000; ++i) { shared_variable++; } return NULL; } int main() { pthread_t thread1, thread2; pthread_create(&thread1, NULL, increment, NULL); pthrea