内容简介:Unix-like OS中,存在一切皆文件的思想,文件描述符(file descriptor,fd)是一个用于文件访问的抽象化概念,实际上它是一个索引值,指向为每一个进程所维护的该进程打开文件的记录表。所以问题来了:如何统计一组会话进程中文件描述符的数量?VFS(Virtual File System)在Linux内核中是一层软件抽象。它为用户态程序提供文件操作接口,也屏蔽了不同的文件系统之间的差异,提供了统一的操作方式。
Unix-like OS中,存在一切皆文件的思想,文件描述符(file descriptor,fd)是一个用于文件访问的抽象化概念,实际上它是一个索引值,指向为每一个进程所维护的该进程打开文件的记录表。 [1] 因此文件描述符与文件操作记录存在一一对应的关系。
所以问题来了:如何统计一组会话进程中文件描述符的数量?
Background
VFS Overview
VFS(Virtual File System)在 Linux 内核中是一层软件抽象。它为用户态程序提供文件操作接口,也屏蔽了不同的文件系统之间的差异,提供了统一的操作方式。 [2]
VFS中关键的数据结构有:
struct file struct inode struct dentry struct address_space struct super_block
File object记录了进程打开文件的上下文信息,是内核中的文件描述符。结构体成员 struct file_operations
中实现的回调函数是暴露给用户态程序的接口,他们来自inode,由具体的文件系统实现。
Inode object保存了数据的metadata,记录在存储设备上,随着需要拷贝至内存、写回存储设备。Inode与文件是一一对应的关系。由于诸如hard links的存在,它与dentry是一对多的关系。成员 struct inode_operations
是与文件信息相关的inode管理操作。
Dcache提供了一种加速使用文件名(pathname)查找文件的机制。它把pathname hash成特定的dentry,进而与inode相关联。Dentry并不记录在存储设备上,也因为RAM的限制无法把所有的dentry放入内存中,因此dentry是动态生成的,先创建dentry再载入inode。成员 struct dentry_operations
是与此机制有关的回调函数。
Address space object用于管理page cache中的page,这些page采用基数树(ragix tree)的方式组织。成员 struct address_space_operations
是一组维护page cahce的函数指针。
Note: adress space object中的基数树现在已经改成XArray(commit id: eb797a8ee0ab4 ),XArray是一种接口改变的基数树。相关的文章: 阿里云系统组技术博客: The Xarray Data Structure , LWN: The XArray data structure 。
Superblock object代表被mount的文件系统,是文件系统的实例。成员 struct super_operations
是与文件系统有关的操作,包括文件系统相关的inode管理操作。
他们的关系如下图:
about struct file
两图胜千言:
Note:
- bitmap记录已用、可用的文件描述符,
max_fds
代表bit数,即当前可用的文件描述符 - 当分配的文件描述符大于
max_fds
的时候,会使用expand_files()
同时拓展bitmap与数组fdt - fdt记录与fd相关的的
struct file
指针,它是数组指针 - fd与
struct file
是多对一的关系 - 内核存在参数fs.file-max与file.file-nr,分别代表当前系统允许存在的最大文件描述符数量、当前系统的文件描述符使用情况 [18] [19]
about *_CLOEXEC
flag
这个flag在 open()
中为 O_CLOEXEC
, fcntl()
中为 FD_CLOEXEC / F_DUPFD_CLOEXEC
……总之后缀都是 CLOEXEC
。
fork后,子进程会获得父进程的文件描述符(更具体地说,Linux下是未设置 CLONE_FILES
flag的系统调用 clone()
)。子进程执行exec的后,内核不再保留原有的fdtable,无法再根据文件描述符操作文件。有时候exec前逐一清理文件描述符并不方便,因此出现了这类 *_CLOEXEC
flag:在执行exec的时候这个文件描述符关闭。
Solution
exploration
有五类行为会导致文件描述符数量的变化:
open() fork() / dup() *_CLOEXEC
对于open类,会发使用 __alloc_fd()
来分配未经使用的文件描述符,close文件描述符的时候调用 __put_unused_fd()
。 分配的规则 与 关闭文件描述符时的行为 部分代码如下:
/** * int __alloc_fd(struct files_struct *files, * unsigned start, unsigned end, unsigned flags) */ fdt = files_fdtable(files); fd = start; if (fd < files->next_fd) fd = files->next_fd; if (fd < fdt->max_fds) fd = find_next_fd(fdt, fd); /** * static void __put_unused_fd(struct files_struct *files, unsigned int fd) */ if (fd < files->next_fd) files->next_fd = fd;
可看到,文件描述符总先尝试从 next_fd
分配,关闭文件描述符的时候会及时更新 next_fd
。但因为由 next_fd
得到的文件描述符并非一定未被使用( dup
系列系统调用的结果,或比如遇到连续打开10个文件描述符,关闭第一次打开的文件描述符的情况),因此有了函数 find_next_fd()
。同时, fd
不小于 fdt->max_fds
意味着fd table需要拓展了。
至于第一个if判断,是因为 fork()
与 fcntl()
的原因: fork()
时会 dup_fd()
,此过程中有 一行代码 将 next_fd
置0了; fcntl()
的dup fd 行为 则是分配不小于arg(即 f_dupfd()
参数 from
)大小的文件描述符。注意的是, fork()
过程中统计fd的数量是根据fd_array来的。
/** * struct files_struct *dup_fd(struct files_struct *oldf, int *errorp) */ newf->next_fd = 0; ... old_fds = old_fdt->fd; new_fds = new_fdt->fd; for (i = open_files; i != 0; i--) { struct file *f = *old_fds++; if (f) { get_file(f); } else { /* * The fd may be claimed in the fd bitmap but not yet * instantiated in the files array if a sibling thread * is partway through open(). So make sure that this * fd is available to the new process. */ __clear_open_fd(open_files - i, new_fdt); } rcu_assign_pointer(*new_fds++, f); } /** * int f_dupfd(unsigned int from, struct file *file, unsigned flags) */ err = alloc_fd(from, flags);
dup系列存在三种: dup() / dup2() / dup3()
。 dup()
返回新的文件描述符,期间会使用 __alloc_fd()
申请未使用的文件描述符。 dup2()
会指定新描述符的值,同时它的 FD_CLOEXEC
文件描述符标志被清除,与 dup
的区别在于它可以将 close()
与 dup()
的操作合二为一(也就是说, dup2()
的参数 newfd
可以是已经打开了的文件描述符)。 dup3()
与 dup2()
的区别在于可以置位 FD_CLOEXEC
。 10 调用 do_dup2()
的函数还包括 replace_fd()
。
对于flag *_CLOEXEC
,在执行exec系列的时候,会有 do_close_on_exec()
行为,它最终也会调用 __put_unused_fd()
。
还有,诸如 exit()
类系统调用并不会逐个关闭文件描述符,它会通过执行 exit_files()
从而 put_files_struct()
。因为线程的存在,多个线程会共享同一个文件描述符,所以需要添加判断;若引用次数为零则直接释放 fdt
。
void put_files_struct(struct files_struct *files) { if (atomic_dec_and_test(&files->count)) { struct fdtable *fdt = close_files(files); /* free the arrays if they are not embedded */ if (fdt != &files->fdtab) __free_fdtable(fdt); kmem_cache_free(files_cachep, files); } }
answer
因此,统计文件描述符变更的hook点:
-
__alloc_fd()
中(针对open()
类) -
__put_unused_fd()
内(针对close()
) -
dup_fd()
中为有效的struct file
增加引用次数时(针对fork()
类) -
do_dup2()
的时候(针对dup2() / dup3()
) -
close_files()
时(针对exit()
)
Reference
- Wikipedia: file descriptor
- Linux doc: vfs.txt
- The dentry Cache
- 阿里云系统组技术博客: The Aarray Data Structure
- LWN.net: The XArray data structure
- linux git commit: page cache: Rearrange address_space
- VFS中的file,dentry和inode
- 知乎专栏: Linux 内核文件描述符表的演变
- CSDN: struct files_struct和struct fdtable
- UNIX环境高级编程
- Linux环境编程——从应用到内核
- Linux doc: fs.txt
- Linux Interview Questions : Open Files / Open File Descriptors
以上所述就是小编给大家介绍的《Linux下文件描述符的统计方法》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。