内容简介：内存映射整个文件可能会使该过程更容易.您想要排列数据以优化最常见的访问模式.听起来数据将被写入一次(逐列)并读取数次(逐行).这表明数据应该按照主排序存储.一旦预计算完成后,只读一次矩阵就可能无法提高性能(有一些可能的低级优化,但是我不认为任何实现它们),但是它会防止错误写入数据你不打算.不妨.
假设你有一个巨大的(40 GB)特征值(浮点)矩阵,行是不同的特征,列是样本/图像.
表格是按列计算的.
然后,它是完全访问行和多线程(每个线程加载整行)几次.
处理这个矩阵的最好办法是什么？我特别考虑了5点：
>由于它是在x64 PC上运行的,我可以记忆一次地映射整个矩阵,但是这有道理吗？
>多线程(多线程初始化计算)的效果如何？
>如何布局矩阵：行或列主要？
>在预先计算完成后,是否有助于将矩阵标记为只读？
>可以像 http://www.kernel.org/doc/man-pages/online/pages/man2/madvise.2.html 这样的东西加速吗？
内存映射整个文件可能会使该过程更容易.
您想要排列数据以优化最常见的访问模式.听起来数据将被写入一次(逐列)并读取数次(逐行).这表明数据应该按照主 排序 存储.
一旦预计算完成后,只读一次矩阵就可能无法提高性能(有一些可能的低级优化,但是我不认为任何实现它们),但是它会防止错误写入数据你不打算.不妨.
一旦你的应用程序写作和工作,madvise可能最终会变得有用.
我的整体建议：首先按照最简单的方式编写程序,然后将计时器放在整个事情和各种主要操作上.确保主要操作时间总和到整个时间,所以你可以确定你没有丢失任何东西.然后将您的性能改进工作定位到实际占用最多时间的组件.
根据JimR在他的评论中提到的4MB页面,您可能最终想要查看hugetlbfs或使用具有透明巨大页面支持的 Linux 内核版本(合并为2.6.38,可能会被修补到早期版本).这可能会为您节省很多TLB漏洞,并说服内核在足够大的块中执行磁盘IO以分摊任何寻找开销.
http://stackoverflow.com/questions/4839204/how-to-memory-map-a-huge-matrix
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- 机器学习 | SVD矩阵分解算法，对矩阵做拆分，然后呢？
- MyBatis从入门到精通(十一)：MyBatis高级结果映射之一对多映射
- MyBatis从入门到精通(九)：MyBatis高级结果映射之一对一映射
- 【mybatis xml】数据层框架应用--Mybatis（三）关系映射之一对一关系映射
- golang 算法-矩阵
- 彻底理解矩阵乘法
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
Ajax Design Patterns
Michael Mahemoff / O'Reilly Media / 2006-06-29 / USD 44.99
Ajax, or Asynchronous JavaScript and XML, exploded onto the scene in the spring of 2005 and remains the hottest story among web developers. With its rich combination of technologies, Ajax provides a s......一起来看看 《Ajax Design Patterns》 这本书的介绍吧!
