内容简介：内存映射整个文件可能会使该过程更容易.您想要排列数据以优化最常见的访问模式.听起来数据将被写入一次(逐列)并读取数次(逐行).这表明数据应该按照主排序存储.一旦预计算完成后,只读一次矩阵就可能无法提高性能(有一些可能的低级优化,但是我不认为任何实现它们),但是它会防止错误写入数据你不打算.不妨.
假设你有一个巨大的(40 GB)特征值(浮点)矩阵,行是不同的特征,列是样本/图像.
表格是按列计算的.
然后,它是完全访问行和多线程(每个线程加载整行)几次.
处理这个矩阵的最好办法是什么？我特别考虑了5点：
>由于它是在x64 PC上运行的,我可以记忆一次地映射整个矩阵,但是这有道理吗？
>多线程(多线程初始化计算)的效果如何？
>如何布局矩阵：行或列主要？
>在预先计算完成后,是否有助于将矩阵标记为只读？
>可以像 http://www.kernel.org/doc/man-pages/online/pages/man2/madvise.2.html 这样的东西加速吗？
内存映射整个文件可能会使该过程更容易.
您想要排列数据以优化最常见的访问模式.听起来数据将被写入一次(逐列)并读取数次(逐行).这表明数据应该按照主 排序 存储.
一旦预计算完成后,只读一次矩阵就可能无法提高性能(有一些可能的低级优化,但是我不认为任何实现它们),但是它会防止错误写入数据你不打算.不妨.
一旦你的应用程序写作和工作,madvise可能最终会变得有用.
我的整体建议：首先按照最简单的方式编写程序,然后将计时器放在整个事情和各种主要操作上.确保主要操作时间总和到整个时间,所以你可以确定你没有丢失任何东西.然后将您的性能改进工作定位到实际占用最多时间的组件.
根据JimR在他的评论中提到的4MB页面,您可能最终想要查看hugetlbfs或使用具有透明巨大页面支持的 Linux 内核版本(合并为2.6.38,可能会被修补到早期版本).这可能会为您节省很多TLB漏洞,并说服内核在足够大的块中执行磁盘IO以分摊任何寻找开销.
http://stackoverflow.com/questions/4839204/how-to-memory-map-a-huge-matrix
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- 机器学习 | SVD矩阵分解算法，对矩阵做拆分，然后呢？
- MyBatis从入门到精通(十一)：MyBatis高级结果映射之一对多映射
- MyBatis从入门到精通(九)：MyBatis高级结果映射之一对一映射
- 【mybatis xml】数据层框架应用--Mybatis（三）关系映射之一对一关系映射
- golang 算法-矩阵
- 彻底理解矩阵乘法
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
微信公众号深度解析
魏艳 / 化学工业出版社 / 2017-5 / 49.80元
本书是一本微信公众号营销的教科书，全方位揭秘了微信订阅号、微信服务号、微信企业号三大类型账号的运营管理策略和技巧，有助于企业构建一套全新的微信公众号营销体系，打造一个移动端的商业帝国，是企业和微商必读的微信公众号营销和运营宝典。 《微信公众号深度解析：订阅号＋服务号＋企业号三号运营全攻略》突出了“新”、“全”、“实战”三大特点，阐述了微信公众号在新形势下的现状、发展趋势和三大类型；微信公众号......一起来看看 《微信公众号深度解析》 这本书的介绍吧!
