c++ 如何记忆映射一个巨大的矩阵?

栏目: C++ · 发布时间: 6年前

内容简介:内存映射整个文件可能会使该过程更容易.您想要排列数据以优化最常见的访问模式.听起来数据将被写入一次(逐列)并读取数次(逐行).这表明数据应该按照主排序存储.一旦预计算完成后,只读一次矩阵就可能无法提高性能(有一些可能的低级优化,但是我不认为任何实现它们),但是它会防止错误写入数据你不打算.不妨.

假设你有一个巨大的(40 GB)特征值(浮点)矩阵,行是不同的特征,列是样本/图像.

表格是按列计算的.

然后,它是完全访问行和多线程(每个线程加载整行)几次.

处理这个矩阵的最好办法是什么?我特别考虑了5点:

>由于它是在x64 PC上运行的,我可以记忆一次地映射整个矩阵,但是这有道理吗?

>多线程(多线程初始化计算)的效果如何?

>如何布局矩阵:行或列主要?

>在预先计算完成后,是否有助于将矩阵标记为只读?

>可以像 http://www.kernel.org/doc/man-pages/online/pages/man2/madvise.2.html 这样的东西加速吗?

内存映射整个文件可能会使该过程更容易.

您想要排列数据以优化最常见的访问模式.听起来数据将被写入一次(逐列)并读取数次(逐行).这表明数据应该按照主 排序 存储.

一旦预计算完成后,只读一次矩阵就可能无法提高性能(有一些可能的低级优化,但是我不认为任何实现它们),但是它会防止错误写入数据你不打算.不妨.

一旦你的应用程序写作和工作,madvise可能最终会变得有用.

我的整体建议:首先按照最简单的方式编写程序,然后将计时器放在整个事情和各种主要操作上.确保主要操作时间总和到整个时间,所以你可以确定你没有丢失任何东西.然后将您的性能改进工作定位到实际占用最多时间的组件.

根据JimR在他的评论中提到的4MB页面,您可能最终想要查看hugetlbfs或使用具有透明巨大页面支持的 Linux 内核版本(合并为2.6.38,可能会被修补到早期版本).这可能会为您节省很多TLB漏洞,并说服内核在足够大的块中执行磁盘IO以分摊任何寻找开销.

http://stackoverflow.com/questions/4839204/how-to-memory-map-a-huge-matrix


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

JavaScript DOM编程艺术

JavaScript DOM编程艺术

Jeremy Keith / 杨涛、王建桥、杨晓云 / 人民邮电出版社 / 2006年12月 / 39.00元

本书讲述了JavaScript和DOM的基础知识,但重点放在DOM编程技术背后的思路和原则:预留退路、循序渐进和以用户为中心等,这些概念对于任何前端Web开发工作都非常重要。本书将这些概念贯穿在书中的所有代码示例中,使你看到用来创建图片库页面的脚本、用来创建动画效果的脚本和用来丰富页面元素呈现效果的脚本,最后结合所讲述的内容创建了一个实际的网站。 本书适合Web设计师和开发人员阅读。一起来看看 《JavaScript DOM编程艺术》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

在线进制转换器
在线进制转换器

各进制数互转换器

随机密码生成器
随机密码生成器

多种字符组合密码