Python使用pip管理依赖 - 摩柯技术社区

一、pip 简介

在 Python 的世界里，pip 是一个极其重要的工具，它是 Python 的包管理系统，用于安装、升级和卸载 Python 包。包（Package）在 Python 中是一种组织模块的方式，包含了多个相关的模块，而许多优秀的开源项目都是以包的形式发布的，例如用于数据处理的 pandas，用于科学计算的 numpy 以及用于机器学习的 scikit - learn 等。

pip 最初是作为 distribute 包的一部分被引入的，后来逐渐发展成为一个独立且功能强大的工具。它使得 Python 开发者能够轻松地获取并管理项目所依赖的各种包，极大地提高了开发效率。在 Python 2.7.9 及之后的版本，以及 Python 3.4 及之后的版本，pip 已经被默认安装。如果你使用的是更早期的 Python 版本，则需要手动安装 pip。

（一）pip 的安装

在 Linux 系统上安装 pip 对于基于 Debian 或 Ubuntu 的系统，可以使用以下命令来安装：

sudo apt - get install python - pip

对于 Fedora 系统：

sudo dnf install python - pip

在 macOS 上安装 pip 如果你的系统是 macOS，并且安装了 Homebrew，可以使用以下命令安装：

brew install python3

这会同时安装 Python 3 和 pip。如果没有安装 Homebrew，也可以从 Python 官方网站下载安装包来安装 Python，安装过程中会自动包含 pip。 3. 在 Windows 上安装 pip 在 Windows 上，可以从 Python 官方网站下载 Python 安装包，在安装过程中，勾选“Add Python to PATH”选项，这样安装完成后 pip 就会被添加到系统路径中。

（二）pip 的基本使用

安装包 安装包是 pip 最常见的操作。语法非常简单，基本格式为 pip install <package - name>。例如，要安装 numpy 包，可以在命令行中输入：

pip install numpy

pip 会从 Python Package Index（PyPI），也就是 Python 的官方包仓库中下载 numpy 及其所有依赖项，并安装到你的 Python 环境中。如果需要安装特定版本的包，可以在包名后加上版本号，例如安装 requests 包的 2.25.1 版本：

pip install requests==2.25.1

升级包 当有新版本的包可用时，你可以使用 pip install --upgrade <package - name> 命令来升级包。例如，要升级 numpy 包：

pip install --upgrade numpy

卸载包 如果某个包不再需要，可以使用 pip uninstall <package - name> 命令来卸载它。例如，卸载 requests 包：

pip uninstall requests

pip 会提示你确认是否卸载，输入 y 并回车即可完成卸载。

二、pip 高级用法

（一）使用 requirements.txt 文件管理依赖

在实际项目开发中，通常会有多个依赖包，并且不同的开发者或部署环境可能需要一致的依赖版本。这时，requirements.txt 文件就派上用场了。requirements.txt 文件是一个纯文本文件，它记录了项目所依赖的包及其版本号。

生成 requirements.txt 文件 在项目目录下，使用以下命令可以生成 requirements.txt 文件：

pip freeze > requirements.txt

pip freeze 命令会列出当前 Python 环境中安装的所有包及其版本号，通过 > 符号将输出重定向到 requirements.txt 文件中。

从 requirements.txt 文件安装依赖 当其他开发者要搭建相同的开发环境，或者在部署项目时，可以使用以下命令从 requirements.txt 文件安装依赖：

pip install -r requirements.txt

这样，pip 会根据 requirements.txt 文件中的记录，逐个安装所需的包及其对应的版本。

假设 requirements.txt 文件内容如下：

numpy==1.19.5
pandas==1.1.5
requests==2.25.1

执行 pip install -r requirements.txt 后，pip 就会按照指定版本安装这三个包。

（二）指定安装源

默认情况下，pip 从 PyPI 官方源下载包。然而，由于网络等原因，从官方源下载可能速度较慢，或者某些包在官方源中不可用。这时，可以指定其他的安装源。

临时指定安装源 可以在安装命令中通过 -i 参数临时指定安装源。例如，使用清华大学的 PyPI 镜像源安装 numpy 包：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy

常见的国内镜像源有：

清华大学：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中国科技大学：https://pypi.mirrors.ustc.edu.cn/simple/

配置永久安装源 在用户主目录下创建或编辑 pip 配置文件 pip.conf（在 Windows 下是 pip.ini）。在 Linux 和 macOS 系统中，文件路径通常是 ~/.pip/pip.conf，在 Windows 系统中路径是 %APPDATA%\pip\pip.ini。

在 pip.conf 文件中添加以下内容：

[global]
index - url = https://pypi.tuna.tsinghua.edu.cn/simple

这样，以后所有的 pip 安装操作都会默认使用清华大学的镜像源。

（三）安装包到指定目录

有时候，你可能不想将包安装到系统默认的 Python 环境目录下，而是安装到指定的目录。可以使用 --target 参数来实现。

例如，要将 requests 包安装到当前目录下的 my_packages 文件夹中：

pip install requests --target=my_packages

安装完成后，my_packages 目录结构如下：

my_packages/
├── requests/
│   ├── __init__.py
│   ├── adapters.py
│   ├── api.py
│   ├── auth.py
│   ├── certs.py
│   ├── cookies.py
│   ├── exceptions.py
│   ├── help.py
│   ├── hooks.py
│   ├── models.py
│   ├── packages/
│   ├── sessions.py
│   ├── status_codes.py
│   ├── structures.py
│   ├── utils.py
│   └── __pycache__/
└── requests - 2.25.1.dist - info/
    ├── INSTALLER
    ├── METADATA
    ├── RECORD
    ├── REQUESTED
    ├── top - level.txt
    └── WHEEL

要使用安装在指定目录的包，需要将该目录添加到 Python 的 sys.path 中。在 Python 脚本中可以这样做：

import sys
sys.path.append('my_packages')
import requests
response = requests.get('https://www.example.com')
print(response.status_code)

（四）虚拟环境与 pip

虚拟环境是 Python 中一个非常重要的概念，它允许你在同一台机器上创建多个相互隔离的 Python 环境。每个虚拟环境都有自己独立的 Python 解释器和包安装目录，这使得不同项目可以依赖不同版本的同一个包，而不会产生冲突。

创建虚拟环境 在 Python 3.3 及以上版本，可以使用内置的 venv 模块来创建虚拟环境。例如，要创建一个名为 myenv 的虚拟环境：

python3 -m venv myenv

这会在当前目录下创建一个 myenv 文件夹，其中包含了一个独立的 Python 环境。

在 Windows 系统上，创建完成后，激活虚拟环境的命令为：

myenv\Scripts\activate

在 Linux 和 macOS 系统上，激活命令为：

source myenv/bin/activate

激活虚拟环境后，命令行提示符会显示虚拟环境的名称，例如 (myenv) user@host:~$。

在虚拟环境中使用 pip 在激活的虚拟环境中，使用 pip 安装、升级和卸载包都只会影响该虚拟环境内的包。例如，在 myenv 虚拟环境中安装 numpy 包：

(myenv) pip install numpy

这样，numpy 包就只会安装在 myenv 虚拟环境的包目录中，不会影响系统全局的 Python 环境。

当你完成项目开发，不再需要使用虚拟环境时，可以使用以下命令退出虚拟环境：

(myenv) deactivate

三、pip 常见问题及解决方法

（一）网络问题

下载速度慢 由于 PyPI 官方源位于国外，在国内下载包时可能速度较慢。如前文所述，可以通过指定国内镜像源来解决这个问题。无论是临时指定还是配置永久安装源，都能显著提高下载速度。
网络连接失败 在安装包时，如果遇到网络连接失败的错误，例如 ConnectionError: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/<package - name>/ (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7f1234567890>: Failed to establish a new connection: [Errno 110] Connection timed out'))，这通常是由于网络不稳定或者防火墙等原因导致的。

解决方法：

检查网络连接是否正常，可以尝试访问其他网站。
如果是防火墙问题，需要联系网络管理员开放相关端口，或者尝试使用代理服务器。例如，在使用代理服务器时，可以在 pip 命令中添加 --proxy 参数，格式为 pip install --proxy http://proxy - host:proxy - port <package - name>。

（二）版本冲突问题

安装包时版本冲突 在安装包时，可能会遇到版本冲突的问题。例如，当你尝试安装 packageA，而 packageA 依赖于 packageB 的某个特定版本，但是系统中已经安装了不兼容的 packageB 版本。这时，pip 可能会报错并提示版本冲突。

解决方法：

升级或降级已经安装的冲突包，使其满足新安装包的依赖要求。例如，如果 packageA 要求 packageB>=1.0，而当前安装的 packageB 是 0.9 版本，可以尝试 pip install --upgrade packageB。
使用虚拟环境，不同的虚拟环境可以安装不同版本的包，从而避免版本冲突。

升级包时版本冲突 在升级包时，也可能会引发版本冲突。例如，升级 packageC 后，它的新依赖与其他已安装包不兼容。

解决方法：

查看升级后的依赖变化，手动调整其他相关包的版本，使其兼容。可以通过查看包的官方文档了解依赖关系。
如果问题难以解决，可以尝试在虚拟环境中升级包，这样可以隔离问题，避免影响其他项目。

（三）权限问题

在系统环境中安装权限不足 在某些系统中，特别是类 Unix 系统，如果尝试在系统全局 Python 环境中安装包，可能会遇到权限不足的问题，报错信息类似于 PermissionError: [Errno 13] Permission denied: '/usr/local/lib/python3.8/site - packages/<package - name>'。

解决方法：

使用 sudo 命令获取管理员权限来安装包，例如 sudo pip install <package - name>。但这种方法需要谨慎使用，因为它会修改系统全局的 Python 环境，可能会影响其他用户或系统组件。
更好的方法是使用虚拟环境，在虚拟环境中安装包不需要管理员权限。

在指定目录安装权限不足 当使用 --target 参数指定安装目录时，如果对该目录没有写入权限，也会报错。例如 PermissionError: [Errno 13] Permission denied: 'my_packages/<package - name>'。

解决方法：

确保你对指定的安装目录有写入权限。如果是在类 Unix 系统中，可以使用 chmod 命令修改目录权限，例如 chmod 777 my_packages 给予所有用户读写执行权限（注意这种方法安全性较低，仅用于测试）。
以具有足够权限的用户身份执行安装命令，或者创建一个你有权限操作的新目录来安装包。

四、pip 与项目开发流程

（一）项目初始化阶段

在开始一个新的 Python 项目时，首先要创建一个虚拟环境。这一步确保项目的依赖与系统全局环境以及其他项目隔离开来，避免版本冲突等问题。

创建虚拟环境 使用 python3 -m venv 命令创建虚拟环境，例如：

python3 -m venv my_project_env

激活虚拟环境 在不同系统上按照前文所述的激活命令激活虚拟环境，如在 Linux 和 macOS 上：

source my_project_env/bin/activate

（二）开发过程中的依赖管理

安装依赖包 随着项目开发的进行，会逐渐引入各种依赖包。例如，如果你要开发一个 Web 应用，可能需要安装 Flask 框架：

pip install flask

在开发过程中，如果发现需要特定版本的包来满足项目需求，要及时更新 requirements.txt 文件。可以在安装完包后，再次执行 pip freeze > requirements.txt 命令来更新文件。

处理依赖更新 当有新的依赖包版本发布，并且可能对项目有益时，可以考虑升级。在升级前，要在测试环境中进行充分测试，确保升级不会引入新的问题。例如，升级 Flask 包：

pip install --upgrade flask

升级完成后，再次更新 requirements.txt 文件，以便团队成员和部署环境能够使用相同版本的包。

（三）项目部署阶段

安装依赖 在部署项目时，通常会有一个部署脚本或配置文件。在这个阶段，需要根据项目的 requirements.txt 文件安装依赖包。例如，在服务器上部署项目：

# 激活虚拟环境（如果在虚拟环境中部署）
source my_project_env/bin/activate
# 安装依赖
pip install -r requirements.txt

处理依赖差异 有时候，开发环境和部署环境可能会有一些差异，例如部署环境可能有一些系统级的依赖已经预装。在这种情况下，需要仔细检查 requirements.txt 文件，确保不会重复安装或安装不兼容的包。如果有必要，可以创建一个单独的 requirements - deploy.txt 文件，用于记录部署环境特有的依赖。

五、pip 与其他包管理工具的比较

（一）与 Conda 的比较

功能特点

pip：专注于 Python 包的管理，主要从 PyPI 官方仓库下载包。它非常轻量级，并且与 Python 标准库结合紧密。
Conda：是一个跨平台的包管理系统，不仅可以管理 Python 包，还能管理其他语言的包，如 R、Java 等。Conda 有自己的包仓库，并且可以创建虚拟环境。

虚拟环境管理

pip：通过 venv 模块或第三方工具（如 virtualenv）创建虚拟环境，虚拟环境相对较为简单，主要围绕 Python 环境。
Conda：创建的虚拟环境更为强大，不仅能隔离 Python 包，还能隔离不同语言的依赖。例如，你可以在一个 Conda 虚拟环境中同时安装 Python 的 numpy 和 R 的 ggplot2。

适用场景

pip：适用于纯 Python 项目，尤其是轻量级项目或者对包版本控制要求较为严格且依赖 PyPI 仓库的项目。
Conda：适用于数据科学和跨语言项目，这些项目可能需要管理多种语言的依赖，并且对环境隔离要求较高。

（二）与 Setuptools 的比较

功能特点

pip：主要用于安装、升级和卸载包，以及管理项目依赖。它从外部仓库获取包并安装到本地环境。
Setuptools：是一个用于打包和分发 Python 项目的工具，它帮助开发者创建 setup.py 文件，定义项目的元数据、依赖等信息，以便将项目打包成可分发的格式，如 wheel 或 sdist。

使用场景

pip：在开发和部署过程中，用于获取和管理项目所需的外部依赖包。
Setuptools：当你要将自己开发的 Python 项目发布到 PyPI 或者其他包仓库，供他人使用时，需要使用 Setuptools 来打包和定义项目的相关信息。

在实际项目中，通常会同时使用 pip 和 Setuptools。Setuptools 用于打包项目，而 pip 用于安装项目及其依赖。例如，当你开发了一个 Python 包 my_package，使用 Setuptools 创建 setup.py 文件并打包成 my_package - 1.0.0 - py3 - none - any.whl，其他开发者就可以使用 pip 来安装这个包：

pip install my_package - 1.0.0 - py3 - none - any.whl

六、pip 的未来发展趋势

（一）性能优化

随着 Python 生态系统的不断发展，包的数量和大小都在持续增长。pip 未来可能会在性能方面进行优化，例如提高下载速度、减少安装时间。这可能涉及到优化网络请求、改进包的解压和安装算法等方面。例如，采用更高效的缓存机制，避免重复下载相同的包，以及优化与不同镜像源的交互，以确保在各种网络环境下都能快速获取包。

（二）与新兴技术的结合

容器化技术 随着 Docker 等容器化技术的广泛应用，pip 可能会更好地与容器环境集成。例如，在容器构建过程中，能够更智能地处理依赖安装，确保容器内的 Python 环境与项目需求精确匹配。这可能包括对容器内缓存的更好支持，以及与容器编排工具（如 Kubernetes）的集成，使得在大规模容器部署中更方便地管理 Python 包依赖。
人工智能和机器学习 在人工智能和机器学习领域，pip 可能会针对该领域的特殊需求进行改进。例如，对于大型深度学习框架及其依赖的安装，pip 可能会提供更便捷的方式来处理复杂的依赖关系，以及支持特定硬件（如 GPU）的优化安装。这可能涉及到与硬件驱动和库的更好协同，以确保在不同的计算环境中都能顺利安装和运行机器学习相关的包。

（三）增强安全性

包验证 pip 可能会加强对包的验证机制，确保从仓库下载的包来源可靠且未被篡改。这可能包括引入更严格的数字签名验证，以及与安全扫描工具的集成，在安装包之前对包进行安全漏洞检测。例如，在安装一个包时，pip 可以自动查询安全数据库，检查该包是否存在已知的安全风险。
依赖审查 随着供应链攻击的增加，pip 可能会提供更强大的依赖审查功能。能够分析项目的依赖树，检测潜在的风险依赖，例如某个依赖包存在安全漏洞，并且该漏洞可能影响到整个项目。这将帮助开发者及时发现并解决依赖带来的安全问题，保障项目的安全性。