内容简介：如果说在python2中处理字符编码很蛋疼的话，如果幻想着python3不那么蛋疼，那么我只想说，你想多了，好不容易在python2中把字符编码的问题捣腾清楚了，但是换成python3，它会将之前的体系重新构建，使得之前的知识体系不能很好的运用，只能重新来构建。感觉是从一个坑跳到了另外一个坑，下面来看看这个令人头疼的python编码问题。python2中将ASCII 码作为默认编码方式，对中文处理很不友好。关于 GBK 和 UTF-8，概念性的东西就不解释了，网上一搜便知，这里主要是来说明一下，将一个 GB
如果说在 python 2中处理字符编码很蛋疼的话，如果幻想着python3不那么蛋疼，那么我只想说，你想多了，好不容易在python2中把字符编码的问题捣腾清楚了，但是换成python3，它会将之前的体系重新构建，使得之前的知识体系不能很好的运用，只能重新来构建。感觉是从一个坑跳到了另外一个坑，下面来看看这个令人头疼的python编码问题。
python2中的编码处理
python2中将ASCII 码作为默认编码方式，对中文处理很不友好。
>>> import sys >>> sys.getdefaultencoding() 'ascii'
关于 GBK 和 UTF-8，概念性的东西就不解释了，网上一搜便知，这里主要是来说明一下，将一个 GBK 编码的字符串转换成 UTF-8 编码，只需要通过 Unicode 来转换
>>> s = '杨'
>>> s
'\xd1\xee'
>>> type(s)
<class 'str'>
>>> print s
杨
>>> su = s.decode('gbk')
>>> su
u'\u6768'
>>> sutf8 = su.encode('utf-8')
>>> sutf8
'\xe6\x9d\xa8'
>>> print sutf8
鏉?
其实就是将 unicode 作为一个中转站，将各种编码转换(decode)成unicode 使用 s.decode(chaset)
，然后再将unicode编码的字符串转换(encode)成想要的编码 s.encode(chaset)
。
其实这么看在python2中的字符编码问题也不是很复杂，主要是要弄清楚字符串本身是什么编码即可。有一个库可以检测字符编码， chardet
，使用 chardet.detect(str)
来检查字符串编码，注意，它这里给出的只能做为参考，并不能很准确的给出编码，所以他的返回值中会有一个 confidence 的值，如果值是1.0，说明它100%的肯定是这个编码。
python3中的编码处理
再来看看python3的编码处理，python3中将unicode合并成了str，已经没有unicode这种类型了。
>>> s = '杨' >>> type(s) <class 'str'> >>> su = u'杨' >>> type(su) <class 'str'> >>> s '杨' >>> su '杨'
可以看出它们都是 str
类型。
那么如何在python3中将一个GBKx编码的字符串转成utf-8呢？
python3中有一种全新的数据类型 bytes
，它表示二进制字节数据，初始化是在字符前加 b ,bytes 类型可以是 ASCII范围内的字符和其它十六进制形式的字符数据，但不能用中文等非ASCII字符表示。
>>> b = b'a' >>> b b'a' >>> type(b) <class 'bytes'> >>> a = 'a' >>> type(a) <class 'str'> >>> b = b'杨彦星' File "<stdin>", line 1 SyntaxError: bytes can only contain ASCII literal characters.
虽然在python3中不能直接的以 b = b'杨彦星'
来初始化bytes，但是却可以用在python2中得到的十六进制表示来初始化
在python2中
>>> '杨彦星' '\xd1\xee\xd1\xe5\xd0\xc7' >>>
在python3中
>>> s = b'\xd1\xee\xd1\xe5\xd0\xc7'
>>> print(s)
b'\xd1\xee\xd1\xe5\xd0\xc7'
>>> type(s)
<class 'bytes'>
>>> ss = s.decode('gbk')
>>> ss
'杨彦星'
>>> type(ss)
<class 'str'>
>>>
熟悉的中文又出现了，有了str 那么就可以将其转换成对应的编码了
>>> ss.encode('utf-8')
b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'
依然不知道它显示的是个啥，但是你可以明确的知道，它在python3里就是 杨彦星
这个字符串的utf-8编码
>>> s8 = b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f'
>>> s8.decode('utf-8')
'杨彦星'
最后使用代码做个总结
str = '杨彦星'
str_utf8 = str.encode('UTF-8')
str_gbk = str.encode('GBK')
print(str)
print('str 对象类型：', type(str))
print('\r')
print('UTF-8 编码：', str_utf8)
print('str_utf-8 对象类型：', type(str_utf8))
print('\r')
print('GBK 编码： ', str_gbk)
print('str_gbk 对象类型：', type(str_gbk))
print('\r')
print('UTF-8 解码：', str_utf8.decode('UTF-8', 'strict'))
print('GBK 解码： ', str_gbk.decode('GBK', 'strict'))
结果如下
杨彦星 str 对象类型： <class 'str'> UTF-8 编码： b'\xe6\x9d\xa8\xe5\xbd\xa6\xe6\x98\x9f' str_utf-8 对象类型： <class 'bytes'> GBK 编码： b'\xd1\xee\xd1\xe5\xd0\xc7' str_gbk 对象类型： <class 'bytes'> UTF-8 解码： 杨彦星 GBK 解码： 杨彦星
以上所述就是小编给大家介绍的《python3中的字符编码问题》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
