golang之大端序、小端序

一、概述

字节序：字节在电脑中存放时的序列与输入/输出时的序列；也指的是存放多字节数据的字节（byte）的顺序，典型的情况是整数在内存中的存放方式和网络传输的传输顺序。

先看下基本概念：

• 1、大端模式(Big endian)：将高序字节存储在起始地址(按照从低地址到高地址的顺序存放数据的高位字节到低位字节)
• 2、小端模式(Little endian)：将低序字节存储在起始地址(按照从低地址到高地址的顺序存放据的低位字节到高位字节)
  在计算机领域中，大小端序是跟硬件的体系结构有关的。
  举个栗子：如一个 var a = 0x11223344，对于这个变量的最高字节为0x11，最低字节为0x44。假设在内存中分配地址如下(地址都是连续的)

当分别处于大小端模式下的内容存放如下

(1)大端模式存储（存储地址为16位）

地址 数据

0x0004(高地址) 0x44

0x0003 0x33

0x0002 0x22

0x0001(低地址) 0x11

(2)小端模式存储（存储地址为16位）

地址 数据

0x0004(高地址) 0x11

0x0003 0x22

0x0002 0x33

0x0001(低地址) 0x44

二、大端序和小端序

在前面也简单阐述了大小端序的定义并结合简单实例来说明，接下来会给出详细实例来说明：

1、大端序(Big-Endian):或称大尾序

一个类型: int32 的数 0X0A0B0C0D的内存存放情况

大端序

数据是以8bits为单位

示例中，最高有效位是将0x0A存储在最低的内存地址处，接着是0x0B存在后面的地址，类似十六进制字节从左往右的顺序。

数据以16bits为单位

最高的16bit单元0x0A0B存储在低位

2、小端序(little-endian):或称小尾序

小尾序

数据以8bits为单位

示例中最低有效位则是0x0D存储的内存地址处，后面依次存放在后面的地址处。

数据以16bits为单位

最低的16bit单元0x0C0D存储在低位。

3、总结

采用大端序的CPU和采用小端序的CPU不仅在字节上是相反的，在比特位上也是相反的。

比如0x01在内存中的存储

大端序：内存低比特位 00000001 内存高比特位

小端序：内存低比特位 10000000 内存高比特位

比如0x00000001

大端序：内存低比特位 00000000 00000000 00000000 00000001 内存高比特位

小端序：内存低比特位 10000000 00000000 00000000 00000000 内存高比特位

三、应用

其实在前面罗列出那么东西，最终是为了接下来讲述的在golang中涉及到网络传输、文件存储时的选择。一般来说网络传输的字节序，可能是大端序或者小端序，取决于软件开始时通讯双方的协议规定。TCP/IP协议RFC1700规定使用“大端”字节序为网络字节序，开发的时候需要遵守这一规则。默认golang是使用大端序。详情见golang中包encoding/binary已提供了大、小端序的使用

import (   
   "encoding/binary"
   "fmt"
)
func BigEndian() {    // 大端序
   // 二进制形式：0000 0000 0000 0000 0001 0002 0003 0004  
   var testInt int32 = 0x01020304  // 十六进制表示
   fmt.Printf("%d use big endian: \n", testInt)   
   
   var testBytes []byte = make([]byte, 4)  
   binary.BigEndian.PutUint32(testBytes, uint32(testInt))   //大端序模式
   fmt.Println("int32 to bytes:", testBytes)  

   convInt := binary.BigEndian.Uint32(testBytes)  //大端序模式的字节转为int32
   fmt.Printf("bytes to int32: %d\n\n", convInt)
}

func LittleEndian() {  // 小端序
   //二进制形式： 0000 0000 0000 0000 0001 0002 0003 0004
   var testInt int32 = 0x01020304  // 16进制
   fmt.Printf("%d use little endian: \n", testInt)   

   var testBytes []byte = make([]byte, 4)
   binary.LittleEndian.PutUint32(testBytes, uint32(testInt)) //小端序模式
   fmt.Println("int32 to bytes:", testBytes)

   convInt := binary.LittleEndian.Uint32(testBytes) //小端序模式的字节转换
   fmt.Printf("bytes to int32: %d\n\n", convInt)
}

func main() {
   BigEndian()
   LittleEndian()
}

输出结果：

16909060 use big endian:

int32 to bytes: [1 2 3 4] ### [0001 0002 0003 0004]

bytes to int32: 16909060

16909060 use little endian:

int32 to bytes: [4 3 2 1] ### [0004 0003 0002 0001]

bytes to int32: 16909060

四、RPCX

在RPCX框架中关于RPC调用过程涉及的传递消息进行编码的，采用的就是大端序模式

func (m Message) Encode() []byte {  // 编码消息
       // 编码metadata将key-value转为key=value&key=value形式
    meta := encodeMetadata(m.Metadata)  

    spL := len(m.ServicePath)   // 服务长度
    smL := len(m.ServiceMethod)  // 服务函数

    var err error
    payload := m.Payload   // 消息体
    if m.CompressType() != None {  // 压缩
        compressor := Compressors[m.CompressType()]
        if compressor == nil { // 默认使用None压缩类型
            m.SetCompressType(None)
        } else {
            payload, err = compressor.Zip(m.Payload)  // GZIP压缩
            if err != nil {   // 压缩失败 不对传输消息进行压缩
                m.SetCompressType(None)
                payload = m.Payload
            }
        }
    }

    // RPCX数据包 = header + ID + total size +
    // 服务名及内容： servicePath(size(servicePath) 、len(servicePath)) +
    // 服务函数及内容：serviceMethod(size(serviceMethod) 、 len(serviceMethod)) +
    // 元数据及内容：   metadata(size(metadata) 、len(metadata)) +  
    // 消息体及内容：payload(size(payload) 、 len(payload)) 

        // 消息长度 = size(servicePath) + len(servicePath) + size(serviceMethod) 
       //        + len(serviceMethod) + size(metadata) + len(metadata) 
       //        + size(payload) + len(payload)
    totalL := (4 + spL) + (4 + smL) + (4 + len(meta)) + (4 + len(payload))  


    // header + dataLen + spLen + sp + smLen + sm 
       //              + metaL + meta + payloadLen + payload
    metaStart := 12 + 4 + (4 + spL) + (4 + smL) // meata开始位置

    payLoadStart := metaStart + (4 + len(meta)) // payLoad开始位置
    l := 12 + 4 + totalL

    data := make([]byte, l)
    copy(data, m.Header[:])  // 拷贝header内容

        // 将数据包以大端序模式进行编码 
    //totalLen
    binary.BigEndian.PutUint32(data[12:16], uint32(totalL))  // 

    binary.BigEndian.PutUint32(data[16:20], uint32(spL))
    copy(data[20:20+spL], util.StringToSliceByte(m.ServicePath))

    binary.BigEndian.PutUint32(data[20+spL:24+spL], uint32(smL))
    copy(data[24+spL:metaStart], util.StringToSliceByte(m.ServiceMethod))

    binary.BigEndian.PutUint32(data[metaStart:metaStart+4], uint32(len(meta)))
    copy(data[metaStart+4:], meta)

    binary.BigEndian.PutUint32(data[payLoadStart:payLoadStart+4],
                                       uint32(len(payload)))
    copy(data[payLoadStart+4:], payload)

    return data
}