使用 go 实现多线程下载器的方法
更新时间:2021年10月8日 12:00 点击:2101
本篇文章我们用Go实现一个简单的多线程下载器。
1.多线程下载原理
通过判断下载文件链接返回头信息中的 Accept-Ranges 字段,如果为 bytes 则表示支持断点续传。
然后在请求头中设置 Range 字段为 bytes=[start]-[end],以请求下载文件的分段部分,然后将所有分段合并为一个完整文件。
2.构造一个下载器
type HttpDownloader struct { url string filename string contentLength int acceptRanges bool // 是否支持断点续传 numThreads int // 同时下载线程数 }
2.1 为下载器提供初始化方法
func New(url string, numThreads int) *HttpDownloader { var urlSplits []string = strings.Split(url, "/") var filename string = urlSplits[len(urlSplits)-1] res, err := http.Head(url) check(err) httpDownload := new(HttpDownloader) httpDownload.url = url httpDownload.contentLength = int(res.ContentLength) httpDownload.numThreads = numThreads httpDownload.filename = filename if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" { httpDownload.acceptRanges = true } else { httpDownload.acceptRanges = false } return httpDownload }
3.实现下载综合调度逻辑
如果不支持多线程下载,就使用单线程下载。
func (h *HttpDownloader) Download() { f, err := os.Create(h.filename) check(err) defer f.Close() if h.acceptRanges == false { fmt.Println("该文件不支持多线程下载,单线程下载中:") resp, err := http.Get(h.url) check(err) save2file(h.filename, 0, resp) } else { var wg sync.WaitGroup for _, ranges := range h.Split() { fmt.Printf("多线程下载中:%d-%d\n", ranges[0], ranges[1]) wg.Add(1) go func(start, end int) { defer wg.Done() h.download(start, end) }(ranges[0], ranges[1]) } wg.Wait() } }
3.1 下载文件分段
func (h *HttpDownloader) Split() [][]int { ranges := [][]int{} blockSize := h.contentLength / h.numThreads for i:=0; i<h.numThreads; i++ { var start int = i * blockSize var end int = (i + 1) * blockSize - 1 if i == h.numThreads - 1 { end = h.contentLength - 1 } ranges = append(ranges, []int{start, end}) } return ranges }
3.2 子线程下载函数
func (h *HttpDownloader) download(start, end int) { req, err := http.NewRequest("GET", h.url, nil) check(err) req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end)) req.Header.Set("User-Agent", userAgent) resp, err := http.DefaultClient.Do(req) check(err) defer resp.Body.Close() save2file(h.filename, int64(start), resp) }
4. 保存下载文件函数
func save2file(filename string, offset int64, resp *http.Response) { f, err := os.OpenFile(filename, os.O_WRONLY, 0660) check(err) f.Seek(offset, 0) defer f.Close() content, err := ioutil.ReadAll(resp.Body) check(err) f.Write(content) }
5.完整代码
package main import ( "fmt" "strings" "log" "os" "net/http" "sync" "io/ioutil" ) const ( userAgent = `Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36` ) type HttpDownloader struct { url string filename string contentLength int acceptRanges bool // 是否支持断点续传 numThreads int // 同时下载线程数 } func check(e error) { if e != nil { log.Println(e) panic(e) } } func New(url string, numThreads int) *HttpDownloader { var urlSplits []string = strings.Split(url, "/") var filename string = urlSplits[len(urlSplits)-1] res, err := http.Head(url) check(err) httpDownload := new(HttpDownloader) httpDownload.url = url httpDownload.contentLength = int(res.ContentLength) httpDownload.numThreads = numThreads httpDownload.filename = filename if len(res.Header["Accept-Ranges"]) != 0 && res.Header["Accept-Ranges"][0] == "bytes" { httpDownload.acceptRanges = true } else { httpDownload.acceptRanges = false } return httpDownload } // 下载综合调度 func (h *HttpDownloader) Download() { f, err := os.Create(h.filename) check(err) defer f.Close() if h.acceptRanges == false { fmt.Println("该文件不支持多线程下载,单线程下载中:") resp, err := http.Get(h.url) check(err) save2file(h.filename, 0, resp) } else { var wg sync.WaitGroup for _, ranges := range h.Split() { fmt.Printf("多线程下载中:%d-%d\n", ranges[0], ranges[1]) wg.Add(1) go func(start, end int) { defer wg.Done() h.download(start, end) }(ranges[0], ranges[1]) } wg.Wait() } } // 下载文件分段 func (h *HttpDownloader) Split() [][]int { ranges := [][]int{} blockSize := h.contentLength / h.numThreads for i:=0; i<h.numThreads; i++ { var start int = i * blockSize var end int = (i + 1) * blockSize - 1 if i == h.numThreads - 1 { end = h.contentLength - 1 } ranges = append(ranges, []int{start, end}) } return ranges } // 多线程下载 func (h *HttpDownloader) download(start, end int) { req, err := http.NewRequest("GET", h.url, nil) check(err) req.Header.Set("Range", fmt.Sprintf("bytes=%v-%v", start, end)) req.Header.Set("User-Agent", userAgent) resp, err := http.DefaultClient.Do(req) check(err) defer resp.Body.Close() save2file(h.filename, int64(start), resp) } // 保存文件 func save2file(filename string, offset int64, resp *http.Response) { f, err := os.OpenFile(filename, os.O_WRONLY, 0660) check(err) f.Seek(offset, 0) defer f.Close() content, err := ioutil.ReadAll(resp.Body) check(err) f.Write(content) } func main() { var url string = "https://dl.softmgr.qq.com/original/im/QQ9.5.0.27852.exe" httpDownload := New(url, 4) fmt.Printf("Bool:%v\nContent:%d\n", httpDownload.acceptRanges, httpDownload.contentLength) httpDownload.Download() }
到此这篇关于使用 go 实现多线程下载器的文章就介绍到这了,更多相关go多线程下载器内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
上一篇: Go 泛型和非泛型代码详解
下一篇: Go官方工具链用法详解
相关文章
C# WinForm多线程解决界面卡死问题的完美解决方案,使用BeginInvoke
问题描述:当我们的界面需要在程序运行中不断更新数据时,当一个textbox的数据需要变化时,为了让程序执行中不出现界面卡死的现像,最好的方法就是多线程来解决一个主线程来创建界...2020-06-24- 在程序员中,尤其是go新手,经常听到的一个讨论话题是:如何处理错误,这篇文章主要给大家介绍了关于Go应用中优雅处理Error的一些相关技巧,需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了c# 多线程处理多个数据的方法,帮助大家更好的理解和学习使用c#,感兴趣的朋友可以了解下...2021-03-31
Django def clean()函数对表单中的数据进行验证操作
这篇文章主要介绍了Django def clean()函数对表单中的数据进行验证操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-09- 这篇文章主要介绍了C#基于委托实现多线程之间操作的方法,实例分析了C#的委托机制与多线程交互操作的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了C#多线程中的异常处理操作,涉及C#多线程及异常的捕获、处理等相关操作技巧,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了C#中异步和多线程的相关资料,帮助大家更好的理解和学习c#,感兴趣的朋友可以了解下...2021-01-16
- 多线程和异步操作两者都可以达到避免调用线程阻塞的目的,从而提高软件的可响应性。甚至有些时候我们就认为多线程和异步操作是等同的概念。但是,多线程和异步操作还是有一些区别的。而这些区别造成了使用多线程和异步操作的时机的区别...2020-06-25
- 这篇文章主要为大家详细介绍了C#多线程之Thread类,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 在Java中,我们可以利用多线程来最大化地压榨CPU多核计算的能力,下面这篇文章主要给大家介绍了关于java中多线程与线程池基本使用的相关资料,需要的朋友可以参考下...2021-09-13
- 第一种解决方案的原理是:将线程执行的方法和参数都封装到一个类里面。通过实例化该类,方法就可以调用属性来实现间接的类型安全地传递多个参数...2020-06-25
- 这篇文章主要介绍了golang官方嵌入文件到可执行程序,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-02-20
- 这篇文章主要介绍了go浮点数转字符串保留小数点后N位解决办法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2020-05-11
- 这篇文章主要介绍了Go语言使用读写OPC详解,图文讲解的很清晰,有感兴趣的同学可以学习下...2021-03-05
- 在本篇文章里小编给大家整理的是一篇关于java多线程中执行多个程序的实例分析内容,有需要的朋友们可以学习参考下。...2021-02-07
- 这篇文章主要介绍了C#多线程编程中异步多线程的实现及线程池的使用,同时对多线程的一般概念及C#中的线程同步并发编程作了讲解,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了Springboot实现多线程注入bean的工具类操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-08-27
- 这篇文章主要介绍了Go项目的目录结构,对基础目录做了讲解,对项目开发中的其它目录也一并做了介绍,需要的朋友可以参考下...2020-05-01
- th.IsBackground = true解决线程问题,意思就是把线程设置为后台线程,感兴趣的朋友可以多了解下,如何有什么妙招还请多多指导哈...2020-06-25
- string与[]byte经常需要互相转化,普通转化会发生底层数据的复制,下面这篇文章主要给大家介绍了关于Go中string与[]byte高效互转的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下...2021-09-20