MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

Python写入文件时的字符编码问题

2022-03-194.8k 阅读

Python写入文件时的字符编码基础概念

在深入探讨Python写入文件的字符编码问题之前，我们先来明确一些基础概念。

字符与字节

字符是文本的基本单位，像字母 “a”、汉字 “你” 等都是字符。而字节是计算机存储和处理数据的基本单位，1 字节等于 8 位。在计算机中，字符不能直接存储，需要转换为字节序列。不同的编码方式就是定义了字符到字节序列的转换规则。

编码与解码

编码（Encoding）是将字符转换为字节序列的过程。例如，将字符 “a” 按照 ASCII 编码转换为字节值 97（十进制）。而解码（Decoding）则是编码的逆过程，是将字节序列转换回字符。如果编码和解码使用的规则不一致，就会出现乱码问题。

常见字符编码

  1. ASCII：它是美国信息交换标准代码，使用 7 位二进制数表示 128 个字符，包括英文字母、数字和一些控制字符。由于只用了 7 位，最高位恒为 0，所以 ASCII 编码最多只能表示 128 种字符，无法处理非英语字符。
  2. UTF - 8：它是一种可变长度的Unicode编码，是目前互联网上最常用的编码方式。UTF - 8 可以使用 1 到 4 个字节来表示一个字符，对于 ASCII 字符，UTF - 8 编码与 ASCII 编码相同，仍然使用 1 个字节。而对于中文字符，通常使用 3 个字节表示。UTF - 8 的优点是兼容性好，能够表示世界上几乎所有的字符，并且在处理纯 ASCII 文本时与 ASCII 编码完全兼容。
  3. UTF - 16：也是一种 Unicode 编码，它使用 2 个或 4 个字节来表示一个字符。通常情况下，基本多文种平面（BMP）内的字符使用 2 个字节表示，而辅助平面内的字符使用 4 个字节表示。UTF - 16 编码常用于 Windows 操作系统以及一些早期的 Java 应用中。
  4. GB2312：这是中国国家标准的简体中文字符集，收录了 6763 个汉字以及一些图形符号。GB2312 使用双字节编码，第一个字节范围是 0xA1 - 0xFE，第二个字节范围也是 0xA1 - 0xFE。GB2312 主要用于简体中文环境，但它只能表示简体中文，对于繁体中文以及一些生僻字无法处理。
  5. GBK：它是对 GB2312 的扩展，收录了 21003 个汉字和图形符号，兼容 GB2312。GBK 同样使用双字节编码，在处理简体和繁体中文方面比 GB2312 更强大。

Python 中的编码处理函数

Python 提供了一些内置函数来处理编码和解码操作。

encode() 函数

encode() 函数用于将字符串按照指定的编码方式转换为字节序列。其基本语法为：string.encode(encoding='UTF - 8', errors='strict')。其中，encoding 参数指定编码方式，默认为 UTF - 8；errors 参数指定在编码过程中遇到错误时的处理方式，'strict' 表示遇到无法编码的字符时抛出 UnicodeEncodeError 异常。例如：

s = '你好'
b = s.encode('utf - 8')
print(b)

上述代码将字符串 “你好” 编码为 UTF - 8 字节序列并打印。

decode() 函数

decode() 函数用于将字节序列按照指定的编码方式转换为字符串。基本语法为：bytes.decode(encoding='UTF - 8', errors='strict')。同样，encoding 参数指定编码方式，errors 参数指定解码错误处理方式。例如：

b = b'\xe4\xbd\xa0\xe5\xa5\xbd'
s = b.decode('utf - 8')
print(s)

这里将 UTF - 8 编码的字节序列解码为字符串并打印。

Python 写入文件时的编码设置

在 Python 中，使用内置的 open() 函数打开文件进行写入操作时，可以指定文件的编码方式。

open() 函数的 encoding 参数

open() 函数的完整语法为：open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)。其中，encoding 参数用于指定文件的编码。例如，要以 UTF - 8 编码写入文件：

with open('test.txt', 'w', encoding='utf - 8') as f:
    f.write('你好，世界！')

在上述代码中，with open() 语句会在代码块结束时自动关闭文件。以 'w' 模式打开文件表示写入，如果文件不存在则创建，如果存在则覆盖。encoding='utf - 8' 指定了写入文件的编码为 UTF - 8。

不指定编码时的默认行为

如果在 open() 函数中不指定 encoding 参数，Python 的默认行为在不同操作系统上有所不同。

  1. Windows：在 Windows 系统下，默认使用系统的 ANSI 编码。这通常是与系统语言相关的编码，例如在简体中文 Windows 系统下，默认编码可能是 GBK。这就意味着如果直接写入中文字符，而不指定编码，可能会因为编码不一致而出现问题。例如：
try:
    with open('test.txt', 'w') as f:
        f.write('你好')
except UnicodeEncodeError:
    print('编码错误')

在简体中文 Windows 系统下，如果系统默认 ANSI 编码为 GBK，而 Python 字符串默认是 Unicode 编码，直接写入就可能导致 UnicodeEncodeError。 2. Linux 和 macOS：在 Linux 和 macOS 系统下，默认编码通常是 UTF - 8。所以在这些系统上，如果写入的内容是 UTF - 8 兼容的字符，不指定编码一般不会出现问题。例如：

with open('test.txt', 'w') as f:
    f.write('Hello, World!')

这段代码在 Linux 和 macOS 系统下能正常写入，因为英文字符在 UTF - 8 编码中与 ASCII 编码相同。但如果写入非 ASCII 字符，如中文，就需要指定编码，否则可能出现编码错误。

编码错误处理

在写入文件时，可能会遇到编码错误，这就需要合理处理这些错误。

errors 参数的取值

在 open() 函数中，errors 参数可以有多种取值来指定不同的错误处理策略。

  1. 'strict'：这是默认值，遇到无法编码的字符时抛出 UnicodeEncodeError 异常。例如：
try:
    with open('test.txt', 'w', encoding='ascii') as f:
        f.write('你好')
except UnicodeEncodeError as e:
    print(f'编码错误: {e}')

由于 ASCII 编码无法表示中文字符 “你好”，所以会抛出 UnicodeEncodeError 异常。 2. 'ignore'：遇到无法编码的字符时忽略该字符，继续处理后续字符。例如：

with open('test.txt', 'w', encoding='ascii', errors='ignore') as f:
    f.write('你好，Hello')

在上述代码中，“你好” 会被忽略，文件中只会写入 “Hello”。 3. 'replace'：遇到无法编码的字符时，用一个替换字符（通常是 '?'）代替。例如：

with open('test.txt', 'w', encoding='ascii', errors='replace') as f:
    f.write('你好，Hello')

文件中会写入 “?，Hello”，“你好” 被替换为 '?'。 4. 'xmlcharrefreplace'：遇到无法编码的字符时，使用 XML 字符引用替换。例如：

with open('test.xml', 'w', encoding='ascii', errors='xmlcharrefreplace') as f:
    f.write('你好')

在生成的 test.xml 文件中，“你好” 会被替换为 你好，这是 “你” 和 “好” 对应的 XML 字符引用。

自定义错误处理函数

除了使用内置的错误处理方式，Python 还允许自定义错误处理函数。可以通过 codecs.register_error() 函数来注册自定义错误处理函数。例如，我们定义一个简单的自定义错误处理函数，将无法编码的字符替换为 'XX'：

import codecs


def my_error_handler(error):
    bad_bytes = error.object[error.start:error.end]
    replacement = b'XX'
    return (replacement, error.end)


codecs.register_error('my_error', my_error_handler)
with open('test.txt', 'w', encoding='ascii', errors='my_error') as f:
    f.write('你好')

在上述代码中，我们定义了 my_error_handler 函数，然后通过 codecs.register_error() 注册为 'my_error' 错误处理方式，最后在 open() 函数中使用该自定义处理方式。

跨平台编码兼容性

在编写跨平台的 Python 程序时，处理文件编码兼容性非常重要。

统一编码策略

为了确保程序在不同操作系统上都能正确处理文件编码，最好的方法是统一使用一种编码方式，通常推荐使用 UTF - 8。因为 UTF - 8 具有广泛的兼容性，能在 Windows、Linux 和 macOS 等系统上都正常工作。例如：

with open('test.txt', 'w', encoding='utf - 8') as f:
    f.write('各种语言字符：你好，Hello，Bonjour')

这样无论在哪个操作系统上运行这段代码，都能正确写入文件，并且在读取时也能正常解码。

检测系统默认编码

有时候，可能需要根据系统默认编码来进行一些特殊处理。可以通过 sys.getfilesystemencoding() 函数获取系统文件系统的默认编码。例如：

import sys

default_encoding = sys.getfilesystemencoding()
print(f'系统默认文件编码: {default_encoding}')

在 Windows 系统下，可能输出类似 cp936（即 GBK），在 Linux 和 macOS 系统下，通常输出 utf - 8。根据这个结果，可以在程序中进行相应的编码调整。

二进制模式写入与编码

在 Python 中，除了文本模式写入文件，还可以使用二进制模式写入。

二进制模式写入的特点

以二进制模式（'wb'）打开文件时，写入的内容必须是字节序列，而不是字符串。这种模式下，不会进行编码转换。例如，要将 UTF - 8 编码的字节序列写入文件：

b = b'\xe4\xbd\xa0\xe5\xa5\xbd'
with open('test.bin', 'wb') as f:
    f.write(b)

这里将字节序列 b'\xe4\xbd\xa0\xe5\xa5\xbd' 直接写入 test.bin 文件，不会进行额外的编码操作。

与文本模式的区别

文本模式写入（如 'w'）会根据指定的编码方式将字符串转换为字节序列再写入文件，并且会处理换行符等文本相关的特性。而二进制模式写入则直接将字节序列写入文件，不进行任何文本相关的处理。例如，在 Windows 系统下，文本模式写入时会将 '\n' 转换为 '\r\n'，而二进制模式写入则保持 '\n' 不变。

应用场景

二进制模式写入常用于处理非文本文件，如图像、音频、视频等。例如，要将一个图像文件的字节数据写入新文件：

with open('original_image.jpg', 'rb') as src:
    data = src.read()
    with open('copied_image.jpg', 'wb') as dst:
        dst.write(data)

上述代码将 original_image.jpg 文件以二进制模式读取，然后将读取的字节数据以二进制模式写入 copied_image.jpg 文件，实现了图像文件的复制。

编码转换写入

有时候，需要将一种编码的文本转换为另一种编码后写入文件。

先解码再编码

可以先将字节序列按照源编码方式解码为字符串，然后再将字符串按照目标编码方式编码为字节序列并写入文件。例如，将 GBK 编码的字节数据转换为 UTF - 8 编码并写入文件：

gbk_bytes = b'\xc4\xe3\xba\xc3'
s = gbk_bytes.decode('gbk')
utf8_bytes = s.encode('utf - 8')
with open('converted.txt', 'wb') as f:
    f.write(utf8_bytes)

在上述代码中，先将 GBK 编码的字节序列 b'\xc4\xe3\xba\xc3' 解码为字符串，然后再将字符串编码为 UTF - 8 字节序列并写入文件。

使用 codecs 模块

codecs 模块提供了更方便的编码转换功能。可以使用 codecs.open() 函数打开文件，并指定源编码和目标编码。例如：

import codecs

with codecs.open('source.txt', 'r', encoding='gbk') as src:
    content = src.read()
    with codecs.open('target.txt', 'w', encoding='utf - 8') as dst:
        dst.write(content)

上述代码使用 codecs.open() 函数从 source.txt 文件（假设为 GBK 编码）读取内容，然后将内容以 UTF - 8 编码写入 target.txt 文件。

高级编码问题与解决方案

在实际开发中，还会遇到一些更复杂的编码问题。

BOM（字节顺序标记）

BOM 是在文本文件开头的几个字节，用于标识文件的编码方式。例如，UTF - 16 编码可以有两种字节顺序：大端序（Big - Endian）和小端序（Little - Endian）。为了区分，UTF - 16 会在文件开头加上 BOM。在 Python 中，当以 UTF - 16 编码写入文件时，open() 函数默认会添加 BOM。例如：

with open('test_utf16.txt', 'w', encoding='utf - 16') as f:
    f.write('你好')

生成的 test_utf16.txt 文件开头会有两个字节 FE FF（表示 UTF - 16 大端序）或 FF FE（表示 UTF - 16 小端序）。在读取文件时，Python 会自动识别 BOM 并按照相应的编码方式解码。但如果手动处理字节数据，就需要注意 BOM 的存在。

编码检测库

在处理未知编码的文件时，可以使用一些编码检测库。例如 chardet 库，它可以通过分析字节数据来猜测文件的编码方式。例如：

import chardet

with open('unknown_encoding.txt', 'rb') as f:
    data = f.read()
    result = chardet.detect(data)
    print(f'猜测的编码: {result["encoding"]}')

上述代码读取 unknown_encoding.txt 文件的字节数据，然后使用 chardet.detect() 函数猜测其编码方式并打印。

处理混合编码文本

在一些复杂场景下，可能会遇到混合编码的文本。例如，文件开头部分是 UTF - 8 编码，中间部分是 GBK 编码。处理这种情况比较复杂，通常需要先分析文本结构，尝试分段进行编码检测和解码。一种简单的思路是根据文本中的一些特征（如特定字符集的出现频率、文件格式规范等）来判断编码边界，然后分别进行处理。但这种方法并不通用，需要根据具体的文本情况进行定制化开发。

通过对上述各个方面的深入了解，我们可以在 Python 开发中更好地处理文件写入时的字符编码问题，确保程序在不同环境下的稳定性和正确性。无论是简单的文本文件写入，还是复杂的跨平台、编码转换等场景，都能有相应的策略和方法来应对。