内容简介：今天在用golang做数据处理的时候出现了点问题，场景是这样的。服务端定时去请求远端服务器拉取每日数据，数据量不是很大，在百万级左右。拉取到的数据再经过简单数据校验和处理之后存入数据库。结果在执行这段代码的时候占用了将近3个G的内存。
今天在用golang做数据处理的时候出现了点问题，场景是这样的。
服务端定时去请求远端服务器拉取每日数据，数据量不是很大，在百万级左右。
拉取到的数据再经过简单数据校验和处理之后存入数据库。结果在执行这段代码的时候占用了将近3个G的内存。
在优化代码的时候发现了一个问题就是golang在处理大量string类型的时候并没有Interning，而在操作DB时又经常性的出现重复数据，导致内存没必要的浪费。
string interning（字符串驻留）的概念其实在 java 里会有接触，可以理解为一个常量池，在新建string的时候会查找有没有相同的unicode，有就把指针指过去。wiki原文中也写到了，在java中interning是一个默认的模式。
for example [String.intern()]
in Java. All compile-time constant strings in Java are automatically interned using this method. -- https://en.wikipedia.org/wiki/String_interning
这两天我研究一下这个包，把优化结果及string包的源码分析整理一下
https://godoc.org/github.com/chriso/go-intern
https://en.wikipedia.org/wiki/String_interning以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
白话机器学习算法
[新加坡] 黄莉婷、[新加坡] 苏川集 / 武传海 / 人民邮电出版社 / 2019-2 / 49.00元
与使用数学语言或计算机编程语言讲解算法的书不同，本书另辟蹊径，用通俗易懂的人类语言以及大量有趣的示例和插图讲解10多种前沿的机器学习算法。内容涵盖k均值聚类、主成分分析、关联规则、社会网络分析等无监督学习算法，以及回归分析、k最近邻、支持向量机、决策树、随机森林、神经网络等监督学习算法，并概述强化学习算法的思想。任何对机器学习和数据科学怀有好奇心的人都可以通过本书构建知识体系。一起来看看 《白话机器学习算法》 这本书的介绍吧!
