记一次字符串压缩操作

记一次字符串压缩操作

项目中遇到一个场景：需要将一批数据发送到APP端，且实际应用场景中，对数据的长度有一定的限制，于是就需要用到字符串压缩。

APP端使用 Java ，后端使用 Golang ，使用 gzip 压缩，同时涉及到了 base64 编码，中文和西欧字符集转码。

过程描述

1. 后端：

   1. 字符集转换 参考自： 一个复杂的中文编码问题
   2. 压缩字符串
   3. 使用base64编码为可见字符
   4. 网络传输

2. APP端

   1. 接收网络响应
   2. base64解码，得到一个字节数组（压缩的）
   3. gzip读取压缩的字节流，解压缩
   4. 转码为中文

示例代码

所有示例代码可以在 这里 找到

1. server端

func compress(s string) string {
    //使用GBK字符集encode
    gbk, err := simplifiedchinese.GBK.NewEncoder().Bytes([]byte(s))
    if err != nil {
        logrus.Error(err)
        return ""
    }

    //转为ISO8859_1，也就是latin1字符集
    latin1, err := charmap.ISO8859_1.NewDecoder().Bytes(gbk)
    if err != nil {
        return ""
    }

    //使用gzip压缩
    var buf bytes.Buffer
    zw := gzip.NewWriter(&buf)

    _, err = zw.Write(latin1)
    if err != nil {
        logrus.Fatal(err)
    }

    if err := zw.Close(); err != nil {
        logrus.Fatal(err)
    }

    //使用base64编码
    encoded := base64.StdEncoding.EncodeToString(buf.Bytes())
    fmt.Println(encoded)
    return encoded
}

1. APP端

private static String uncompress(String s) throws IOException {

        //base64 decode
        byte[] byteArray = Base64.getDecoder().decode(s);
        ByteArrayInputStream bis = new ByteArrayInputStream(byteArray);
        
        //gzip解压
        GZIPInputStream gis = new GZIPInputStream(bis);
        BufferedReader br = new BufferedReader(new InputStreamReader(gis, "UTF-8"));
        StringBuilder sb = new StringBuilder();
        String line;
        while ((line = br.readLine()) != null) {
            sb.append(line);
        }
        br.close();
        gis.close();
        bis.close();

        //使用latin1字符集获得bytes
        byte[] latin1 = sb.toString().getBytes("ISO_8859_1");
        //转换回GBK
        return new String(latin1, "GBK");
    }

使用base64编码，主要是因为经过gzip压缩后数据，直接转成字符串的话，会有很多不可见字符，这样在传输过程中，通常会被服务端框架转义，从而失真。

代码仅作为示例使用，实际业务编码请注意检查错误和异常等。