go基础库之解码非Unicode字符集中的字符串

栏目: Go · 发布时间: 6年前

内容简介:一个鲜为人知的事实是在处理非Unicode字符串时,需要将内容转换为Unicode。本篇将演示如何解码和编码非unicode字符串。

一个鲜为人知的事实是 .go 文件中的所有内容都是用UTF-8编码的。信不信由你,Unicode不是世界上唯一的字符集。例如,Windows-1250编码在Windows用户中广泛使用。

在处理非Unicode字符串时,需要将内容转换为Unicode。本篇将演示如何解码和编码非unicode字符串。

解码非Unicode字符集中的字符串

Golang 版本

1.12.1

前言

一个鲜为人知的事实是 .go 文件中的所有内容都是用UTF-8编码的。信不信由你,Unicode不是世界上唯一的字符集。例如,Windows-1250编码在Windows用户中广泛使用。

在处理非Unicode字符串时,需要将内容转换为Unicode。本篇将演示如何解码和编码非unicode字符串。

实现

  1. 创建文件 encode.go ,代码如下:
package main

import (
	"io"
	"os"

	"golang.org/x/text/encoding/charmap"
)

func main() {

	f, err := os.OpenFile("out.txt", os.O_CREATE|os.O_RDWR,
		os.ModePerm|os.ModeAppend)
	if err != nil {
		panic(err)
	}
	defer f.Close()

	// 解码unicode
	encoder := charmap.Windows1250.NewEncoder()
	writer := encoder.Writer(f)
	io.WriteString(writer, "Gdańsk")

}

运行 go run encode.go

out.txt 以Windows-1250编码进行编码

  1. 创建文件 decode.go ,代码如下:
package main

import (
	"fmt"
	"io/ioutil"
	"os"
	"strings"

	"golang.org/x/text/encoding/charmap"
)

func main() {

	// 打开 windows-1250 文件
	f, err := os.Open("out.txt")
	if err != nil {
		panic(err)
	}
	defer f.Close()

	// 全部以原始内容读入
	b, err := ioutil.ReadAll(f)
	if err != nil {
		panic(err)
	}
	content := string(b)

	fmt.Println("Without decode: " + content)

	// unicode 解码
	decoder := charmap.Windows1250.NewDecoder()
	reader := decoder.Reader(strings.NewReader(content))
	b, err = ioutil.ReadAll(reader)
	if err != nil {
		panic(err)
	}
	fmt.Println("Decoded: " + string(b))

}
$ go run decode.go
Without decode: Gda�sk
Decoded: Gdańsk

原理

软件包 golang.org/x/text/encoding/charmap 包含用于简单编码和解码的 Charset 类型。该类型实现创建解码器结构的 NewDecoder 方法。

编码工作类似。创建编码 Writer ,然后将由该 Writer 编写的每个字符串编码为Windows-1250编码。

注意,选择Windows-1250作为示例。这个包 golang.org/x/text/encoding/charmap 包含许多其他字符集选项。


以上所述就是小编给大家介绍的《go基础库之解码非Unicode字符集中的字符串》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

总开关

总开关

[美] 吴修铭 / 顾佳 / 中信出版社 / 2011-8 / 49.00元

当收音机经历从真空管收音机到半导体收音机,再到电晶体收音机的发展升级时,人们觉得自己的资讯来源美满得无可复加了。当约翰.洛吉.贝尔德发明了电视以后,在很长一段时间内,人们都认为电视就是他们所拥有的﹑也是所愿意拥有的最好的资讯媒介。 时至今日,互联网的震撼不亚于以往任何媒介,它给我们带来了最大的信息量,最便捷的自我表达,最迅速的沟通。互联网似乎比以往任何媒介都具有优越性。在互联网成为这个时代主......一起来看看 《总开关》 这本书的介绍吧!

随机密码生成器
随机密码生成器

多种字符组合密码

MD5 加密
MD5 加密

MD5 加密工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换