使用mmap实现多进程对大文件拷贝
更新时间:2020年4月25日 17:24 点击:1557
本文实例为大家分享了mmap实现文件多进程拷贝,供大家参考,具体内容如下
假设有一个超大文件,需对其完成拷贝工作。为提高效率,可采用多进程并行拷贝的方法来实现。假设文件大小为len,共有n个进程对该文件进行拷贝。那每个进程拷贝的字节数应为len/n。但未必一定能整除,我们可以选择让最后一个进程负责剩余部分拷贝工作。可使用len % (len/n)将剩余部分大小求出。
为降低实现复杂度,可选用mmap来实现源、目标文件的映射,通过指针操作内存地址,设置每个进程拷贝的起始、结束位置。借助MAP_SHARED选项将内存中所做的修改反映到物理磁盘上。
思路:
//1. 指定创建子进程的个数
//2. 打开源文件
//3. 打开目的文件, 不存在则创建
//4. 获取文件大小
//5. 根据文件大小拓展目标文件
//6. 为源文件创建映射
//7. 为目标文件创建映射
//8. 求出每个子进程该拷贝的字节数
//9. 创建N个子进程
//10. 子进程完成分块拷贝(注意最后一个子进程拷贝起始位置)
//11. 释放映射区
代码如下:
#include<stdio.h> #include<stdlib.h> #include <sys/types.h> #include <sys/stat.h> #include <unistd.h> #include <sys/mman.h> #include<sys/wait.h> #include<string.h> #include <fcntl.h> int main(int argc,char*argv[]) { int n; if(argc < 3 || argc > 4) { printf("Enter like this : ./a.out file_src file_dst [proc_number]\n"); exit(1); } else if(argc == 3) //用户未指定,默认创建5个进程。 n = 5; else n = atoi(argv[3]); //2.打开源文件 int fd_src = open(argv[1],O_RDONLY); if(fd_src < 0) { perror("open"); exit(2); } //3.打开目标文件,不存在就创建,存在则截断为0的大小。 int fd_dst = open(argv[2],O_RDWR |O_CREAT |O_TRUNC,0664); if(fd_dst < 0) { perror("open"); exit(3); } //4.获取源文件大小。 struct stat sbuf; int ret = fstat(fd_src,&sbuf); //fd_src所指向的文件信息保存到结构体sbuf中。 if(ret < 0) { perror("fstat"); exit(4); } int flen = sbuf.st_size; //源文件大小。 if(flen < n) //文件长度小于进程个数。 { n = flen; } //5.根据文件大小拓展目标文件。 ret = ftruncate(fd_dst,flen);//将参数fd指定的文件大小改为参数length指定的大小 if(ret < 0) { perror("ftruncate"); exit(5); } //6.为源文件创建映射。 // void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); //addr == NULL,表示内核选择一个合适的地址创建一个length大小的共享内存, char *mp_src = (char*)mmap(NULL,flen,PROT_READ,MAP_SHARED,fd_src,0); //0,表示将fd_src所指向的文件从起始映射到共享内存中,共享内存的权限为只读,进程间共享。 if(mp_src == MAP_FAILED) //mmap一定要检查返回值。 { perror("mmap"); exit(6); } close(fd_src); //7.为目标文件创建映射。 char *mp_dst = (char*)mmap(NULL,flen,PROT_READ|PROT_WRITE,MAP_SHARED,fd_dst,0); if(mp_dst == MAP_FAILED) //mmap一定要检查返回值。 { perror("mmap"); exit(7); } close(fd_dst); //8.求出每个进程拷贝的字节数。 int bs = flen / n; int mod = flen % bs; //求出均分后余下的字节数,让最后一个子进程处理。 char *temp_src = mp_src; char *temp_dst = mp_dst; //9.创建n个子进程。 int i ; pid_t pid; for(i = 0; i < n; ++i) { printf("create %dth proc\n",i); if( (pid =fork()) == 0 ) break; } if(n == i) //父进程。 { int j = 0; for(j = 0; j < n; ++j) wait(NULL); } else if(i == (n-1)) //10.子进程拷贝,最后一个子进程,它多处理均分后剩下的字节数。 { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs+mod); } else if(i == 0) { printf("i = %d\n",i); memcpy(temp_dst,temp_src,bs); } else { printf("i = %d\n",i); memcpy(temp_dst+i*bs,temp_src+i*bs,bs); } //11.释放映射区。 munmap(mp_src,flen); munmap(mp_dst,flen); return 0; }
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持猪先飞。
下一篇: C语言实现扫雷小游戏
相关文章
- pcntl中的php必须要安装pcntl才可以实现多线程了,在网上找到许多的关于pcntl安装教程,下面整理了一篇比较完整的关于php pcntl安装与使用方法。 pcntl中php实现多进...2016-11-25
- 我们一起来看一个PHP CLI模式下PCNTL扩展实现多进程服务的例子,有面要了解这个问题的朋友可以和小编一起来看看。 PHP可通过PCNTL扩展实现进程控制,如进程创建,信...2016-11-25
- 这篇文章主要为大家详细介绍了使用mmap实现大文件的复制,单进程与多进程的两种情况,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25
PHP多进程同步下载图片的实现方法,pcntl_fork教程
pcntl_fork — 在当前进程当前位置产生分支(子进程)。译注:fork是创建了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不同的是父进程执行过程中,得到的fork...2016-11-25- 这篇文章主要介绍了python多线程与多进程及其区别详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2021-08-20
- PHP pcntl_fork — 在当前进程当前位置产生分支(子进程)。译注:fork是创建了一个子进程,父进程和子进程 都从fork的位置开始向下继续执行,不同的是父进程执行过程中,得到的f...2016-11-25
- 这篇文章主要介绍了python 多进程和多线程使用详解,帮助大家更好得理解和学习使用python,感兴趣的朋友可以了解下...2021-03-30
- 这篇文章给大家介绍了单进程的情况的进程锁实现、进程锁实现多进程、进程锁在yii2中的实现以及杀死进程的命令,有需要的朋友们可以参考借鉴,下面来一起看看吧。...2016-10-02
- 这篇文章主要介绍了python 多进程和协程配合使用写入数据,帮助大家利用python高效办公,感兴趣的朋友可以了解下...2020-10-30
- 使用PHP真正的多进程运行模式,适用于数据采集、邮件群发、数据源更新、tcp服务器等环节。 PHP有一组进程控制函数(编译时需要 –enable-pcntl与posix扩展),...2016-11-25
- 多进程可以说php在这方面比起java差得太多了,下面出现好玩找到一个关于PHP多进程实例,给大家看一下。 代码如下 复制代码 <?php $cmds=arra...2016-11-25
- php多进程这个东西先是在java中有不过现在高版本的php也支持多进程这个功能,但经过测试性能不如java了希望后期有所提高了,下面我们一起来看看我整理了几个关于php多进...2016-11-25
- 这篇文章主要介绍了Nginx服务器进程数设置和利用多核CPU的方法,这样便可以更大限度地提高Nginx运行效率,需要的朋友可以参考下...2016-01-27
- 这篇文章主要为大家详细介绍了利用mmap实现文件拷贝功能,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25
- 这篇文章主要介绍了python多进程的的相关资料,文中讲解非常细致,帮助大家更好的理解和学习Python,感兴趣的朋友可以了解下...2020-08-06
- 这篇文章主要介绍了python实现多进程按序号批量修改文件名的方法,涉及Python多进程与文件相关操作技巧,需要的朋友可以参考下...2020-05-08
- 这篇文章主要给大家介绍了关于Python多进程与多线程使用场景的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-05
php socket服务的模型以及实现 多进程IO复用libevent
下面我们来看一篇关于php socket服务的模型以及实现 多进程IO复用libevent?端口复用技术例子,希望此文章能够对各位有帮助。 端口复用技术,这样就可以很好的解决惊...2016-11-25- PHP curl实现多进程并发抓取数据我们经常的用到了,今天我们来看一篇关于PHP curl实现多进程并发高效率采集爬虫的例子,具体的细节如下。 演示代码 运行效果(图...2016-11-25
- 这篇文章主要介绍了使用mmap实现多进程对大文件拷贝,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25