golang读写文件

栏目: Go · 发布时间: 5年前

内容简介:抗压测试的时候多线程需要使用一个文件的内容频繁发送,所以想预处理文件内容到内容,分段发送,1.读取文件内容到内存2.从内存取出消费(只是举例子,这里是重新把内存的分段数据又存储到文件,通过与输入文件二进制比较,可作为验证内存中数据是否正确)

抗压测试的时候多线程需要使用一个文件的内容频繁发送,所以想预处理文件内容到内容,分段发送,

1.读取文件内容到内存

type Chunk struct{
    data []byte
}

func prepareChucks(path string)  {

    fi, err := os.Open(path)
    if err != nil {
        panic(err)
    }
    defer fi.Close()

    for {

        buf := make([]byte, 4096) //每次需要再for循环里面重新make,踩坑
        n, err := fi.Read(buf)
        if err != nil && err != io.EOF {
            panic(err)
        }
        if 0 == n {
            break
        }
        chunckData := Chunk{buf[:n]}
        chuckList.PushBack(chunckData)
    }

}

2.从内存取出消费(只是举例子,这里是重新把内存的分段数据又存储到文件,通过与输入文件二进制比较,可作为验证内存中数据是否正确)

func writeFile(path string){


    f, err := os.Create(path )
    defer f.Close()

    for e := chuckList.Front(); e != nil; e = e.Next() {

        chuckData := e.Value.(Chunk)

        _ ,err = f.Write(chuckData.data)

        if(err != nil){
            log.Println("writeFile error ..err =",err)
            return
        }
    }
}

3 使用如下

var chuckList  *list.List

func main() {

    chuckList = list.New()

    prepareChucks("in file path")

    writeFile("out file path")

}

以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

白话机器学习算法

白话机器学习算法

[新加坡] 黄莉婷、[新加坡] 苏川集 / 武传海 / 人民邮电出版社 / 2019-2 / 49.00元

与使用数学语言或计算机编程语言讲解算法的书不同,本书另辟蹊径,用通俗易懂的人类语言以及大量有趣的示例和插图讲解10多种前沿的机器学习算法。内容涵盖k均值聚类、主成分分析、关联规则、社会网络分析等无监督学习算法,以及回归分析、k最近邻、支持向量机、决策树、随机森林、神经网络等监督学习算法,并概述强化学习算法的思想。任何对机器学习和数据科学怀有好奇心的人都可以通过本书构建知识体系。一起来看看 《白话机器学习算法》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具