Python使用venv创建虚拟环境

什么是虚拟环境

在Python开发中，虚拟环境是一个非常重要的概念。它可以被看作是一个隔离的Python运行环境，为每个项目提供独立的Python解释器、库以及相关配置。想象一下，你正在进行多个Python项目的开发，不同项目可能依赖于同一个库的不同版本。例如，项目A需要 Django 2.2，而项目B则依赖于 Django 3.0。如果在系统全局环境中安装这些库，版本冲突将不可避免，导致项目无法正常运行。虚拟环境就解决了这个问题，它允许每个项目拥有自己专属的一套库和Python解释器，就像是每个项目都生活在自己独立的“小世界”里，互不干扰。

从本质上来说，虚拟环境创建了一个独立的目录结构，其中包含了Python解释器的副本，以及一个 site - packages 目录用于安装项目所需要的各种库。当激活虚拟环境时，Python命令将指向这个特定的解释器，并且安装的库也只会出现在这个虚拟环境的 site - packages 目录中，而不会影响系统全局的Python环境。

为什么要使用虚拟环境

1. 依赖管理：如前文所述，不同项目对库的版本需求不同。虚拟环境使得每个项目可以精确控制其依赖的库及其版本，避免因版本冲突导致的兼容性问题。例如，在开发一个数据分析项目时，可能需要特定版本的 numpy 和 pandas 库来保证算法的准确性和稳定性。如果没有虚拟环境，在系统全局安装这些库，后续其他项目可能因为这些库的版本问题而无法正常运行。
2. 项目隔离：虚拟环境提供了项目之间的隔离。一个项目的库安装和配置不会影响其他项目。这在开发多个不同类型或不同阶段的项目时非常有用。比如，你同时在进行一个Web开发项目和一个数据挖掘项目，这两个项目使用的库和配置完全不同，通过虚拟环境，可以让它们各自独立运行，互不干扰。
3. 部署一致性：在开发和部署过程中，虚拟环境可以确保开发环境和部署环境的一致性。开发人员可以将虚拟环境中的依赖信息（通常通过 requirements.txt 文件）提供给运维人员，运维人员可以在部署服务器上创建相同的虚拟环境，并安装相同版本的库，从而减少因环境差异导致的部署问题。

venv模块简介

venv 是Python 3.3及以上版本自带的一个标准库，用于创建轻量级的虚拟环境。它的设计目的是提供一种简单、高效的方式来创建和管理虚拟环境。与其他一些第三方虚拟环境管理工具（如 virtualenv）相比，venv 具有与Python标准库紧密集成的优势，不需要额外安装（Python 3.3+），使用起来更加便捷。

venv 创建的虚拟环境包含了一个独立的Python解释器，以及一个用于安装第三方库的 site - packages 目录。它还提供了一些脚本和工具，用于激活和管理虚拟环境。venv 的核心功能是通过 venv.EnvBuilder 类来实现的，这个类提供了一系列的方法和参数，用于定制虚拟环境的创建过程。

创建虚拟环境

1. 基本创建： 要使用 venv 创建虚拟环境，首先打开命令行终端。假设你想在当前目录下创建一个名为 myenv 的虚拟环境，在Windows系统下，打开命令提示符（CMD）或PowerShell，在Linux或macOS系统下打开终端，然后执行以下命令：

python -m venv myenv

在上述命令中，python -m venv 表示使用Python的 venv 模块，myenv 是你为虚拟环境指定的名称，你可以根据实际需求进行修改。执行完该命令后，在当前目录下会创建一个名为 myenv 的目录，这个目录就是新创建的虚拟环境。其中包含了 bin 目录（在Windows下是 Scripts 目录），里面存放了激活虚拟环境的脚本，以及 lib 目录，用于存放安装的库。

2. 指定Python版本： 有时候，你可能需要在虚拟环境中使用特定版本的Python。例如，你系统中安装了Python 3.8和Python 3.9，而你的项目需要Python 3.8。你可以通过指定Python解释器路径来创建使用特定版本Python的虚拟环境。假设Python 3.8的解释器路径为 /usr/local/bin/python3.8（在不同系统和安装方式下路径可能不同），在Linux或macOS系统下执行以下命令：

/usr/local/bin/python3.8 -m venv myenv38

在Windows系统下，如果Python 3.8的安装路径为 C:\Python38\python.exe，则执行：

C:\Python38\python.exe -m venv myenv38

这样就创建了一个使用Python 3.8的虚拟环境 myenv38。

3. 创建带有系统站点包的虚拟环境： 默认情况下，venv 创建的虚拟环境是隔离的，不包含系统全局安装的Python库（即系统站点包）。但在某些情况下，你可能希望虚拟环境能够访问系统站点包。例如，你有一些系统级别的库，不想在虚拟环境中重复安装。可以使用 --system - site - packages 参数来创建包含系统站点包的虚拟环境。在命令行执行：

python -m venv --system - site - packages myenv_with_sys_pkgs

这样创建的 myenv_with_sys_pkgs 虚拟环境就可以访问系统站点包中的库。不过，使用这种方式需要谨慎，因为可能会引入版本冲突等问题。

4. 创建可升级的虚拟环境： venv 还支持创建可升级的虚拟环境。可升级的虚拟环境允许你在不重新创建虚拟环境的情况下，升级Python解释器到更新的版本。要创建可升级的虚拟环境，可以使用 --upgrade - deps 参数。执行以下命令：

python -m venv --upgrade - deps my_upgradable_env

这样创建的 my_upgradable_env 虚拟环境就具备了可升级的特性。不过，需要注意的是，升级Python解释器可能会导致一些库的兼容性问题，在升级前最好备份项目代码和相关配置，并对项目进行充分测试。

激活虚拟环境

1. Windows系统：
   • CMD命令提示符： 如果虚拟环境名为 myenv，进入 myenv\Scripts 目录，然后执行激活脚本。例如：

cd myenv\Scripts
activate.bat

激活后，命令提示符的前缀会变为虚拟环境的名称，例如 (myenv) C:\your\current\directory>，表示虚拟环境已激活，此时执行的Python命令和安装的库都在该虚拟环境内。 - PowerShell： 在PowerShell中，同样进入 myenv\Scripts 目录，然后执行激活脚本，但需要注意的是，默认情况下，PowerShell可能会限制脚本的执行。如果遇到执行权限问题，你需要以管理员身份运行PowerShell，并执行 Set - ExecutionPolicy RemoteSigned 来更改执行策略（此操作会影响系统的脚本执行安全性，请谨慎操作）。激活虚拟环境的命令为：

cd myenv\Scripts
.\activate.ps1

激活后，PowerShell的提示符也会显示虚拟环境的名称，如 (myenv) PS C:\your\current\directory>。

2. Linux和macOS系统： 在Linux和macOS系统下，进入虚拟环境的 bin 目录，然后执行激活脚本。例如，对于名为 myenv 的虚拟环境：

cd myenv/bin
source activate

激活后，终端提示符会显示虚拟环境的名称，如 (myenv) your@your - machine:~/your/current/directory$，表示虚拟环境已激活。

在虚拟环境中安装库

1. 使用pip安装库： 激活虚拟环境后，就可以使用 pip 来安装项目所需的库了。pip 是Python的包管理工具，在虚拟环境中使用 pip 安装的库会被安装到虚拟环境的 site - packages 目录中，而不会影响系统全局的Python环境。例如，要安装 numpy 库，可以在激活虚拟环境后执行以下命令：

pip install numpy

pip 会自动从Python Package Index（PyPI）下载并安装 numpy 库及其依赖项。如果要安装特定版本的库，比如 numpy 1.19.5，可以使用：

pip install numpy==1.19.5

2. 安装本地库： 除了从PyPI安装库，有时候你可能需要安装本地的库文件，比如一个尚未发布到PyPI的自定义库。假设你有一个本地的库文件 mylib - 1.0.0.tar.gz，在激活虚拟环境后，进入包含该库文件的目录，然后执行：

pip install mylib - 1.0.0.tar.gz

pip 会解压并安装该库到虚拟环境的 site - packages 目录中。如果库是一个 wheel 文件（.whl），安装方法类似：

pip install mylib - 1.0.0 - py3 - none - any.whl

3. 从requirements.txt安装库： 在项目开发中，通常会使用 requirements.txt 文件来记录项目所依赖的库及其版本信息。这样，其他开发人员或运维人员可以通过这个文件在新的虚拟环境中快速安装相同的依赖。要从 requirements.txt 文件安装库，首先确保虚拟环境已激活，然后在包含 requirements.txt 文件的目录中执行：

pip install -r requirements.txt

pip 会读取 requirements.txt 文件中的每一行，按照指定的库和版本进行安装。requirements.txt 文件的格式通常如下：

numpy==1.19.5
pandas==1.1.3
requests==2.25.1

每行一个库及其版本号，通过 == 连接。

管理虚拟环境中的库

1. 查看已安装的库： 在虚拟环境激活状态下，可以使用 pip list 命令查看当前虚拟环境中已安装的所有库及其版本。执行该命令后，会列出所有已安装的库及其版本信息，例如：

Package    Version
---------- -------
numpy      1.19.5
pandas     1.1.3
pip        21.2.4
requests   2.25.1
setuptools 57.4.0

2. 升级库： 如果要升级虚拟环境中的某个库，可以使用 pip install --upgrade 命令。例如，要升级 numpy 库到最新版本，执行：

pip install --upgrade numpy

pip 会从PyPI获取 numpy 的最新版本并进行升级。如果要升级到特定版本，比如 numpy 1.20.0，则执行：

pip install numpy==1.20.0

3. 卸载库： 当某个库不再被项目需要时，可以使用 pip uninstall 命令卸载它。例如，要卸载 requests 库，执行：

pip uninstall requests

pip 会提示你确认是否卸载，输入 y 并回车即可完成卸载。

导出虚拟环境的依赖

1. 生成requirements.txt文件： 在项目开发完成或需要部署时，通常需要将虚拟环境中的依赖信息导出为 requirements.txt 文件，以便在其他环境中重建相同的虚拟环境。在虚拟环境激活状态下，执行以下命令：

pip freeze > requirements.txt

pip freeze 命令会列出当前虚拟环境中所有已安装的库及其精确版本号，> 符号表示将输出重定向到 requirements.txt 文件中。生成的 requirements.txt 文件内容类似：

numpy==1.19.5
pandas==1.1.3
requests==2.25.1

2. 自定义requirements.txt内容： 有时候，pip freeze 生成的 requirements.txt 文件可能包含一些不必要的信息，或者你可能希望对依赖进行一些调整。例如，某些库是开发时使用的工具库，在生产环境中不需要。你可以手动编辑 requirements.txt 文件，删除不需要的库，或者调整版本号的约束。例如，你可以将版本号约束改为更宽松的形式，如 numpy>=1.19.0，表示只要版本大于等于 1.19.0 即可。

停用虚拟环境

当你完成了在虚拟环境中的工作，需要停用虚拟环境，回到系统全局环境。在Windows系统的CMD或PowerShell中，以及Linux和macOS系统的终端中，在虚拟环境激活状态下执行以下命令：

1. Windows系统： 在CMD命令提示符中执行：

deactivate.bat

在PowerShell中执行：

deactivate

2. Linux和macOS系统： 执行：

deactivate

执行上述命令后，命令提示符或终端提示符会恢复到系统全局环境的样式，表明虚拟环境已停用。

虚拟环境的目录结构

1. bin目录（Windows下为Scripts目录）： 这个目录包含了激活和停用虚拟环境的脚本，以及虚拟环境中的Python解释器可执行文件。在Windows下，activate.bat 和 deactivate.bat 用于在CMD中激活和停用虚拟环境，activate.ps1 和 deactivate.ps1 用于在PowerShell中操作。在Linux和macOS系统下，activate 和 deactivate 脚本用于激活和停用虚拟环境。此外，该目录还包含了 pip 可执行文件，用于在虚拟环境中安装、管理库。
2. lib目录： lib 目录用于存放安装在虚拟环境中的第三方库。在 lib 目录下，会有一个与Python版本相关的子目录，例如 python3.9，其中包含了 site - packages 目录。所有通过 pip 安装的库都会被放置在 site - packages 目录中。site - packages 目录是Python查找第三方库的主要位置，当在虚拟环境中导入库时，Python会首先在这个目录中寻找。
3. include目录： include 目录包含了Python的头文件，这些头文件在编译一些需要与Python进行交互的C或C++扩展模块时会用到。例如，如果你要开发一个使用C语言编写的Python扩展库，可能需要包含这些头文件来进行编译。
4. pyvenv.cfg文件： 这个文件是虚拟环境的配置文件，包含了虚拟环境的一些基本信息，如是否包含系统站点包、Python解释器的路径等。例如，一个典型的 pyvenv.cfg 文件内容可能如下：

home = /usr/local/bin/python3.9
include - system - site - packages = false
version = 3.9.7

其中，home 表示Python解释器的路径，include - system - site - packages 表示是否包含系统站点包，version 表示Python的版本。

虚拟环境与项目的结合

1. 项目初始化： 在开始一个新的Python项目时，首先应该创建一个虚拟环境。例如，假设你要创建一个名为 my_project 的Web开发项目，在项目目录下创建虚拟环境：

mkdir my_project
cd my_project
python -m venv myenv

然后激活虚拟环境：

# Windows系统
myenv\Scripts\activate.bat
# Linux和macOS系统
myenv/bin/source activate

激活虚拟环境后，就可以使用 pip 安装项目所需的库，如 Flask 或 Django 等Web框架：

pip install flask

2. 项目开发过程中的依赖管理： 在项目开发过程中，每当安装新的库时，都应该及时更新 requirements.txt 文件。例如，你又安装了 requests 库用于发送HTTP请求：

pip install requests
pip freeze > requirements.txt

这样，requirements.txt 文件就记录了项目当前的所有依赖。如果项目团队中有其他开发人员，他们可以在克隆项目代码后，在项目目录下创建虚拟环境并安装依赖：

python -m venv myenv
myenv/bin/source activate  # Windows系统使用相应的激活命令
pip install -r requirements.txt

3. 项目部署： 在部署项目时，运维人员可以根据项目提供的 requirements.txt 文件在服务器上创建相同的虚拟环境并安装依赖。首先在服务器上创建虚拟环境：

python -m venv myenv_production
myenv_production/bin/source activate

然后安装依赖：

pip install -r requirements.txt

这样就可以在服务器上搭建与开发环境一致的运行环境，确保项目能够正常部署和运行。

虚拟环境的常见问题及解决方法

1. 激活虚拟环境失败：
   • 问题描述：在执行激活虚拟环境的命令时，提示找不到脚本或权限不足等错误。
   • 解决方法：
     • 权限问题：在Windows的PowerShell中，如果提示权限不足，以管理员身份运行PowerShell，并执行 Set - ExecutionPolicy RemoteSigned 更改执行策略（谨慎操作）。在Linux和macOS系统中，如果提示权限不足，确保你对虚拟环境目录及其脚本有执行权限，可通过 chmod +x activate 等命令添加执行权限。
     • 路径问题：确保你在正确的目录下执行激活命令。例如，在Windows系统中，要进入虚拟环境的 Scripts 目录；在Linux和macOS系统中，要进入 bin 目录。如果虚拟环境创建时路径有问题，可能需要重新创建虚拟环境。
2. 安装库失败：
   • 问题描述：使用 pip 安装库时，提示网络问题、依赖冲突或其他错误。
   • 解决方法：
     • 网络问题：检查网络连接是否正常，可以尝试使用 ping 命令测试网络。如果是网络不稳定或代理设置问题，可配置正确的代理服务器，例如在Linux和macOS系统中，可以设置 http_proxy 和 https_proxy 环境变量：

export http_proxy=http://your_proxy_server:port
export https_proxy=https://your_proxy_server:port

在Windows系统中，可以在命令提示符中使用 set 命令设置代理。 - 依赖冲突：如果提示依赖冲突，pip 通常会给出相关提示。可以尝试升级 pip 到最新版本（pip install --upgrade pip），然后再次安装库。有时候，可能需要手动调整库的版本，以解决冲突。例如，如果 A 库依赖 B 库的某个版本，而当前安装的 B 库版本不符合要求，可以尝试安装符合要求的 B 库版本。 3. 虚拟环境中Python版本问题： - 问题描述：创建的虚拟环境中Python版本不符合预期。 - 解决方法：确保在创建虚拟环境时指定了正确的Python解释器路径。如果系统中有多个Python版本，要明确使用哪个版本来创建虚拟环境。例如，在Linux或macOS系统中，如果要使用 /usr/local/bin/python3.8 创建虚拟环境，执行 python3.8 -m venv myenv。如果已经创建了虚拟环境，可以尝试重新创建，并正确指定Python版本。

虚拟环境与其他工具的结合使用

1. 与IDE结合： 许多Python集成开发环境（IDE），如PyCharm、VS Code等，都支持虚拟环境。以PyCharm为例，在创建新项目时，可以选择使用已有的虚拟环境或创建新的虚拟环境。在项目设置中，可以指定项目使用的Python解释器，选择虚拟环境中的Python解释器路径（位于虚拟环境的 bin 目录下，Windows下为 Scripts 目录）。这样，在IDE中进行开发时，安装的库会自动安装到虚拟环境中，并且运行项目时也会使用虚拟环境中的Python解释器和库，实现项目与虚拟环境的紧密结合。
2. 与Docker结合： Docker是一种容器化技术，可以将应用程序及其依赖打包到一个可移植的容器中。在使用Docker部署Python项目时，可以将虚拟环境作为容器的一部分。首先，在本地创建虚拟环境并安装项目依赖，然后将虚拟环境目录和项目代码一起复制到Docker镜像中。在Dockerfile中，可以通过以下步骤实现：

# 使用基础镜像
FROM python:3.9

# 创建虚拟环境目录
RUN python -m venv /app/venv

# 激活虚拟环境
ENV PATH="/app/venv/bin:$PATH"

# 将项目代码复制到镜像中
COPY. /app
WORKDIR /app

# 在虚拟环境中安装项目依赖
RUN pip install -r requirements.txt

# 启动项目
CMD ["python", "app.py"]

这样，通过Docker可以方便地在不同环境中部署具有相同虚拟环境和依赖的Python项目，确保部署的一致性和可重复性。

不同操作系统下虚拟环境的差异

1. Windows系统：
   • 路径分隔符：Windows系统使用反斜杠（\）作为路径分隔符，而在Linux和macOS系统中使用正斜杠（/）。这在指定虚拟环境路径或执行相关命令时需要注意。例如，在Windows系统中激活虚拟环境的命令为 myenv\Scripts\activate.bat，而在Linux和macOS系统中为 myenv/bin/source activate。
   • 脚本执行：Windows系统有不同的脚本执行环境，如CMD和PowerShell，并且默认的脚本执行策略可能会限制脚本的执行。在PowerShell中，需要以管理员身份运行并更改执行策略才能执行某些脚本，而在Linux和macOS系统中，通常只需要确保脚本有执行权限即可。
   • 文件名大小写：Windows系统对文件名大小写不敏感，而Linux和macOS系统对文件名大小写敏感。在创建虚拟环境或安装库时，如果涉及到文件名，需要注意在不同系统下的差异，避免因文件名大小写问题导致找不到文件或库安装失败。
2. Linux和macOS系统：
   • 权限管理：Linux和macOS系统基于Unix内核，权限管理较为严格。在创建虚拟环境、激活虚拟环境或安装库时，可能会因为权限不足而失败。需要使用 chmod 等命令来调整文件和目录的权限。例如，要为激活脚本添加执行权限，可以执行 chmod +x activate。
   • 系统站点包：在Linux和macOS系统中，系统全局安装的Python库通常位于 /usr/local/lib/pythonX.Y/site - packages 或 /usr/lib/pythonX.Y/site - packages 等目录下。当创建包含系统站点包的虚拟环境时，需要注意系统站点包的路径和权限，以及可能带来的版本冲突问题。

虚拟环境的高级应用

1. 嵌套虚拟环境： 在某些情况下，你可能需要在一个虚拟环境中再创建一个虚拟环境，这就是嵌套虚拟环境。例如，在一个大型项目中，不同的子模块可能需要不同的虚拟环境来隔离依赖。要创建嵌套虚拟环境，首先激活外层虚拟环境，然后在内层执行创建虚拟环境的命令。例如：

# 激活外层虚拟环境
python -m venv outer_env
outer_env/bin/source activate
# 创建内层虚拟环境
python -m venv inner_env

需要注意的是，嵌套虚拟环境可能会增加管理的复杂性，并且在激活和停用虚拟环境时要确保操作的正确性，避免混淆。 2. 虚拟环境的动态创建与管理： 在一些自动化脚本或工具中，可能需要动态地创建和管理虚拟环境。例如，编写一个Python脚本，根据用户输入的项目名称和依赖列表，自动创建虚拟环境并安装相应的库。以下是一个简单的示例：

import subprocess
import sys


def create_venv(project_name):
    subprocess.run([sys.executable, '-m','venv', project_name], check=True)


def install_dependencies(project_name, requirements):
    activate_script = f'{project_name}/bin/activate'
    if sys.platform.startswith('win'):
        activate_script = f'{project_name}\\Scripts\\activate.bat'
    subprocess.run([activate_script], shell=True)
    for dep in requirements:
        subprocess.run([f'pip install {dep}'], shell=True)


if __name__ == '__main__':
    project_name = input('请输入项目名称: ')
    create_venv(project_name)
    dep_list = input('请输入依赖列表，以空格分隔: ').split()
    install_dependencies(project_name, dep_list)

这个脚本首先根据用户输入的项目名称创建虚拟环境，然后根据用户输入的依赖列表在虚拟环境中安装相应的库。通过这种方式，可以实现虚拟环境的自动化创建和管理，提高开发效率。

3. 虚拟环境的共享与分发： 在团队开发中，可能需要共享虚拟环境的配置。除了通过 requirements.txt 文件共享依赖信息外，还可以通过一些工具来共享虚拟环境的整个配置。例如，tox 工具可以根据 tox.ini 配置文件创建和管理多个虚拟环境，并且可以在团队成员之间共享这个配置文件。tox.ini 文件可以定义不同的虚拟环境配置，包括Python版本、安装的库等。例如：

[tox]
envlist = py38, py39

[testenv]
deps =
    pytest
    numpy
    pandas
commands =
    pytest

在上述配置中，定义了两个虚拟环境 py38 和 py39，并且为每个环境指定了需要安装的库和执行的命令。团队成员可以在本地安装 tox 工具，然后运行 tox 命令，tox 会根据 tox.ini 文件自动创建虚拟环境并安装依赖，实现虚拟环境的共享和统一管理。

通过深入了解和掌握Python中使用 venv 创建虚拟环境的方法、管理技巧以及与其他工具的结合使用，开发人员可以更好地组织和管理Python项目，提高开发效率，避免因环境问题导致的各种错误和冲突。无论是小型项目还是大型团队协作开发，虚拟环境都是一个不可或缺的重要工具。在实际应用中，需要根据项目的具体需求和场景，灵活运用虚拟环境的各种特性，确保项目的顺利进行。