内容简介:BOM(Byte Order Mark)既字节序标记,一般是出现在以Unicode编码的文件开始的头部。带BOM的Unicode编码文件查看其二进制编码会出现以下数据,下面只是一些常用的字符编码golang中的转换实现参考utf-16 在做转换时不能忽视该编码的大端序和小端序区别,不然将会导致乱码,转换使用到包
BOM(Byte Order Mark)既字节序标记,一般是出现在以Unicode编码的文件开始的头部。带BOM的Unicode编码文件查看其二进制编码会出现以下数据,下面只是一些常用的字符编码
字符编码 | Bom (十六进制) |
---|---|
UTF-8 | EF BB BF |
UTF-16 (BE) 大端序 | FE FF |
UTF-16 (LE) 小端序 | FF FE |
UTF-32 (BE) 大端序 | 00 00 FE FF |
UTF-32 (LE) 小端序 | FF FE 00 00 |
GB-18030 | 84 31 95 33 |
Unicode编码简介
-
Unicode是容纳世界所有文字符号的国际标准编码,使用四个字节为每个字符编码。
-
UTF是英文 Unicode Transformation Format 的缩写,意为把 Unicode 字符转换为某种格式。UTF 系列编码方案(UTF-8、UTF-16、UTF-32)均是由 Unicode 编码方案衍变而来,以适应不同的数据存储或传递,它们都可以完全表示 Unicode 标准中的所有字符。目前,这些衍变方案中 UTF-8 被广泛使用,而 UTF-16 和 UTF-32 则很少被使用。
-
UTF-8使用一至四个字节为每个字符编码,其中大部分汉字采用三个字节编码,少量不常用汉字采用四个字节编码。因为 UTF-8 是可变长度的编码方式,相对于 Unicode 编码可以减少存储占用的空间,所以被广泛使用。
-
UTF-16使用二或四个字节为每个字符编码,其中大部分汉字采用两个字节编码,少量不常用汉字采用四个字节编码。UTF-16 编码有大端序和小端序之别,即 UTF-16BE 和 UTF-16LE,在编码前会放置一个 U+FEFF 或 U+FFFE(UTF-16BE 以 FEFF 代表,UTF-16LE 以 FFFE 代表),其中 U+FEFF 字符在 Unicode 中代表的意义是 ZERO WIDTH NO-BREAK SPACE,顾名思义,它是个没有宽度也没有断字的空白。
-
UTF-32使用四个字节为每个字符编码,使得 UTF-32 占用空间通常会是其它编码的二到四倍。UTF-32 与 UTF-16 一样有大端序和小端序之别,编码前会放置 U+0000FEFF 或 U+0000FFFE 以区分。
大端序和小端序
- 大端:大端就是内存中的低位地址存放对应整数的高位。
- 小端:小端就是内存中的低位地址存放对应整数的低位。
字节数组:[0 1 2] 按照大端序转换成二进制为: 0 0 0 0 0 0 0 0 | 0 0 0 0 0 0 0 1 | 0 0 0 0 0 0 1 0 按照小端序转换成二进制为: 0 0 0 0 0 0 1 0 | 0 0 0 0 0 0 0 1 | 0 0 0 0 0 0 0 0 所以字节数组[0 1 2]大端序十进制为:258,小端序为:131328 复制代码
golang中的转换实现参考 binary
包
golang 转换utf-16编码至utf-8
utf-16 在做转换时不能忽视该编码的大端序和小端序区别,不然将会导致乱码,转换使用到包 golang.org/x/text/encoding/unicode
,
bs := [8]byte{93, 78, 95, 134, 75, 144, 26, 144} decoder := unicode.UTF16(unicode.LittleEndian, unicode.IgnoreBOM).NewDecoder() bs2, err := decoder.Bytes(bs[:]) fmt.Println(string(bs2), err) 复制代码
output...
九號運通 <nil> 复制代码
unicode.LittleEndian
指定为小端序
unicode.IgnoreBOM
忽略BOM标记
参考链接:
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- 用深度学习实现 2D 到 3D 的转换
- Spring 早期类型转换,基于 PropertyEditor 实现
- C语言实现任意进制转换代码及解析
- 学术派 | 用深度学习实现 2D 到 3D 的转换
- CentOS下使用LibreOffice实现文档格式的转换
- Mongodb 利用mongoshell进行数据类型转换的实现方法
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。