MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

Python中的字符编码与解码

2021-01-273.3k 阅读

Python中的字符编码基础

在深入探讨Python中的字符编码与解码之前，我们先来了解一些基本概念。字符编码是将字符集内的字符与二进制数之间建立映射关系的规则。常见的字符集包括ASCII、Unicode等，而常见的编码方式有UTF - 8、UTF - 16等。

ASCII编码

ASCII（美国信息交换标准代码）是最早的字符编码标准之一。它使用7位二进制数来表示128个字符，包括英文字母（大写和小写）、数字、标点符号以及一些控制字符。例如，字符'A'的ASCII编码是65（二进制为01000001）。在Python中，如果我们处理的文本只包含ASCII字符，事情会相对简单。

s = 'Hello, World!'
print(s.encode('ascii'))

上述代码中，s是一个ASCII字符串，通过encode('ascii')方法将其编码为字节串，结果仍然是b'Hello, World!'，因为字符串中的字符都在ASCII字符集范围内。

Unicode字符集

Unicode是为了解决全球范围内字符表示的问题而创建的字符集。它旨在包含世界上所有书写系统的字符。Unicode给每个字符分配一个唯一的代码点，代码点通常用十六进制表示，例如，字符'中'的Unicode代码点是U + 4E2D。

编码方式

仅仅有Unicode字符集还不够，我们还需要一种方式将这些代码点转换为计算机能够存储和传输的二进制数据，这就是编码方式的作用。

  1. UTF - 8：UTF - 8是一种变长编码方式，它可以用1到4个字节来表示一个Unicode字符。对于ASCII字符（其Unicode代码点范围是U + 0000到U + 007F），UTF - 8编码与ASCII编码相同，只需要1个字节。对于其他字符，根据字符的Unicode代码点大小，使用不同数量的字节。例如，字符'中'的UTF - 8编码是b'\xe4\xb8\xad'，占用3个字节。
s = '中'
print(s.encode('utf - 8'))
  1. UTF - 16：UTF - 16也是一种Unicode编码方式，它通常使用2个字节（16位）来表示一个字符，但对于一些补充平面的字符，需要使用代理对，即4个字节。在Python中，可以使用encode('utf - 16')方法进行编码。
s = '中'
print(s.encode('utf - 16'))

上述代码中，输出的字节串b'\xff\xfe\xd6\xd0'，其中\xff\xfe是字节序标记（BOM），表示这是一个小端序的UTF - 16编码，后面的\xd6\xd0是字符'中'的编码。

Python字符串类型与编码的关系

在Python 3中，有两种主要的与文本处理相关的数据类型：str和bytes。

  1. str类型：str类型表示Unicode字符串，它在内存中以抽象的Unicode代码点形式存储。无论底层操作系统使用何种编码，Python中的str对象始终以Unicode表示。例如：
s = '你好'
print(type(s))

这里的s是一个str对象，存储的是Unicode代码点。我们可以使用len()函数获取字符串的字符数量。

s = '你好'
print(len(s))

输出为2，因为str对象按字符计数。 2. bytes类型：bytes类型表示的是字节序列，它是不可变的。bytes对象中的每个元素是一个0到255之间的整数，代表一个字节。要从str对象得到bytes对象，需要进行编码操作。

s = '你好'
b = s.encode('utf - 8')
print(type(b))

这里将str对象s编码为bytes对象b，编码方式为UTF - 8。同样，要从bytes对象得到str对象，需要进行解码操作。

b = b'\xe4\xbd\xa0\xe5\xa5\xbd'
s = b.decode('utf - 8')
print(type(s))

编码与解码的实践

常见的编码错误

  1. 编码错误：当我们尝试使用不支持某些字符的编码方式进行编码时，会引发UnicodeEncodeError。例如，如果我们尝试将包含非ASCII字符的字符串编码为ASCII：
s = '你好'
try:
    b = s.encode('ascii')
except UnicodeEncodeError as e:
    print(f"编码错误: {e}")

这里会捕获到UnicodeEncodeError，提示字符不能被ASCII编码。 2. 解码错误：当我们使用错误的编码方式对bytes对象进行解码时，会引发UnicodeDecodeError。例如，将UTF - 8编码的字节串用ASCII解码：

b = b'\xe4\xbd\xa0\xe5\xa5\xbd'
try:
    s = b.decode('ascii')
except UnicodeDecodeError as e:
    print(f"解码错误: {e}")

处理文件中的编码

在处理文件时，编码问题尤为重要。Python的open()函数可以接受一个encoding参数来指定文件的编码方式。

  1. 写入文件：
s = '你好，世界'
with open('test.txt', 'w', encoding='utf - 8') as f:
    f.write(s)

上述代码以UTF - 8编码将字符串写入test.txt文件。如果不指定encoding参数，Python会使用系统默认编码，这在不同系统上可能会导致问题。 2. 读取文件：

with open('test.txt', 'r', encoding='utf - 8') as f:
    content = f.read()
    print(content)

这里以UTF - 8编码读取test.txt文件的内容。如果文件实际编码与指定的encoding参数不一致，会引发UnicodeDecodeError。

网络传输中的编码

在网络编程中，数据通常以字节流的形式传输。例如，在使用socket模块进行网络通信时：

import socket

server_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_socket.bind(('127.0.0.1', 8888))
server_socket.listen(1)

while True:
    client_socket, addr = server_socket.accept()
    data = client_socket.recv(1024)
    try:
        s = data.decode('utf - 8')
        print(f"接收到: {s}")
        response = '已收到'.encode('utf - 8')
        client_socket.send(response)
    except UnicodeDecodeError as e:
        print(f"解码错误: {e}")
    client_socket.close()

上述代码创建了一个简单的TCP服务器，接收客户端发送的数据并尝试以UTF - 8解码。如果解码成功，返回一个响应。如果解码失败，打印错误信息。

深入理解编码转换

在实际应用中，我们可能需要在不同编码之间进行转换。例如，从UTF - 8转换为GB2312。虽然Python本身没有直接提供这种转换的内置方法，但可以借助第三方库iconv或chardet等。

使用chardet库猜测编码

chardet库可以帮助我们猜测字节串的编码方式。这在处理来源不明的文本数据时非常有用。

import chardet

b = b'\xe4\xbd\xa0\xe5\xa5\xbd'
result = chardet.detect(b)
print(result)

上述代码使用chardet.detect()方法对字节串b进行编码检测，result是一个字典，包含猜测的编码方式（encoding）和置信度（confidence）等信息。

编码转换示例

假设我们有一个UTF - 8编码的文件，需要将其内容转换为GB2312编码并保存为新文件。

import codecs

# 以UTF - 8读取文件
with codecs.open('utf8_file.txt', 'r', 'utf - 8') as f:
    content = f.read()

# 转换为GB2312编码
gb2312_content = content.encode('gb2312', 'ignore')

# 以GB2312写入新文件
with codecs.open('gb2312_file.txt', 'w', 'gb2312') as f:
    f.write(gb2312_content.decode('gb2312'))

上述代码首先以UTF - 8编码读取文件内容，然后尝试将其编码为GB2312。encode('gb2312', 'ignore')中的ignore参数表示在编码过程中忽略无法编码的字符。最后将编码后的内容以GB2312写入新文件。

编码相关的最佳实践

  1. 明确指定编码：在处理文件、网络通信等涉及文本处理的操作时，始终明确指定编码方式，避免依赖系统默认编码。这样可以确保程序在不同操作系统和环境下的一致性。
  2. 异常处理：在进行编码和解码操作时，要做好异常处理。通过捕获UnicodeEncodeError和UnicodeDecodeError等异常，能够让程序更加健壮，避免因编码问题导致程序崩溃。
  3. 了解数据来源：在处理未知来源的文本数据时，尽量先使用工具（如chardet）猜测其编码方式，然后再进行相应的处理。

不同Python版本中的编码差异

Python 2与Python 3的区别

  1. 字符串类型：在Python 2中，有两种字符串类型：str和unicode。str类型实际上是字节串，而unicode类型才是真正的Unicode字符串。这与Python 3中的str（Unicode字符串）和bytes（字节串）概念不同。例如，在Python 2中：
# Python 2代码
s1 = 'Hello'  # str类型，字节串
s2 = u'你好'  # unicode类型

而在Python 3中，默认的字符串类型就是str（Unicode字符串），如果要表示字节串，需要使用bytes类型。 2. 编码默认值：Python 2在处理文件读写等操作时，如果不指定编码，默认使用系统编码，这可能导致在不同系统上行为不一致。而Python 3在文件操作时，如果不指定编码，在文本模式下会引发UnicodeDecodeError，强制用户明确指定编码，提高了代码的可移植性和稳定性。

字符编码与国际化

在开发国际化应用程序时，字符编码是一个关键因素。不同地区和语言使用不同的字符集和编码方式。为了确保应用程序能够正确处理各种语言的文本：

  1. 统一编码：在整个应用程序中，尽量统一使用一种编码方式，如UTF - 8。UTF - 8能够表示几乎所有的Unicode字符，并且在网络传输和文件存储中都非常常用。
  2. 本地化支持：结合Python的gettext模块等工具，实现文本的本地化。在本地化过程中，要注意编码的一致性，确保翻译后的文本能够正确显示和处理。

总结编码与解码的要点

  1. 字符集与编码的概念：理解字符集（如Unicode）和编码方式（如UTF - 8、UTF - 16等）的区别和联系，是正确处理字符编码的基础。
  2. Python数据类型：清楚str（Unicode字符串）和bytes（字节串）在Python中的区别和相互转换方式，是进行编码和解码操作的关键。
  3. 操作中的注意事项：在文件操作、网络传输等场景中，明确指定编码方式，并做好异常处理，以确保程序的健壮性和可移植性。

通过深入理解Python中的字符编码与解码，我们能够更好地处理各种文本数据，开发出更加稳定和通用的应用程序。无论是处理本地文件、进行网络通信还是开发国际化应用，正确的编码处理都是必不可少的。