golang 实现时间滑动窗口的示例代码
更新时间:2022年10月17日 19:19 点击:264 作者:wangxiaoangg
一 概念
固定窗口就像是滑动窗口的一个特例,固定窗口是大小固定且不能随着时间而变化的。
滑动时间窗口就是把一段时间片分为多个样本窗口,可以通过更细粒度对数据进行统计。然后计算对应的时间落在那个窗口上,来对数据统计;滑动时间窗口,随着时间流失,最开始的样本窗口将会失效,同时会生成新的样本窗口。
例如 我们将1s划分为4个样本窗口,每个样本窗口对应250ms。
二 go-zero中的滑动窗口实现
1.Bucket 样本窗口
Bucket用于记录每个样本窗口的值
// Bucket defines the bucket that holds sum and num of additions. type Bucket struct { Sum float64 //样本窗口的值 Count int64 //样本窗口被add的次数 } func (b *Bucket) add(v float64) { b.Sum += v b.Count++ } //重置样本窗口,样本窗口过期时 func (b *Bucket) reset() { b.Sum = 0 b.Count = 0 }
2. window 滑动窗口
type window struct { buckets []*Bucket //样本窗口 size int //样本窗口个数 } func newWindow(size int) *window { buckets := make([]*Bucket, size) for i := 0; i < size; i++ { buckets[i] = new(Bucket) } return &window{ buckets: buckets, size: size, } } func (w *window) add(offset int, v float64) { w.buckets[offset%w.size].add(v) } func (w *window) reduce(start, count int, fn func(b *Bucket)) { for i := 0; i < count; i++ { fn(w.buckets[(start+i)%w.size]) } } func (w *window) resetBucket(offset int) { w.buckets[offset%w.size].reset() }
3. RollingWindow窗口
bucket和window的实现都很简单,逻辑很好理解。
RollingWindow相对复杂一些。
当add值时需要如下操作:
- 计算已经过期的bucket(样本窗口),将已经过期的bucket重置。
- 计算offset,当前add操作应当记录到哪个bucket中。
type ( // RollingWindowOption let callers customize the RollingWindow. RollingWindowOption func(rollingWindow *RollingWindow) // RollingWindow defines a rolling window to calculate the events in buckets with time interval. RollingWindow struct { lock sync.RWMutex size int win *window interval time.Duration offset int ignoreCurrent bool lastTime time.Duration // start time of the last bucket } ) // NewRollingWindow returns a RollingWindow that with size buckets and time interval, // use opts to customize the RollingWindow. func NewRollingWindow(size int, interval time.Duration, opts ...RollingWindowOption) *RollingWindow { if size < 1 { panic("size must be greater than 0") } w := &RollingWindow{ size: size, win: newWindow(size), interval: interval, lastTime: timex.Now(), } for _, opt := range opts { opt(w) } return w } // Add adds value to current bucket. func (rw *RollingWindow) Add(v float64) { rw.lock.Lock() defer rw.lock.Unlock() rw.updateOffset() rw.win.add(rw.offset, v) } // Reduce runs fn on all buckets, ignore current bucket if ignoreCurrent was set. func (rw *RollingWindow) Reduce(fn func(b *Bucket)) { rw.lock.RLock() defer rw.lock.RUnlock() var diff int //获取跨度,并计算还有几个bucket还在窗口期内 span := rw.span() // ignore current bucket, because of partial data if span == 0 && rw.ignoreCurrent { diff = rw.size - 1 } else { diff = rw.size - span } if diff > 0 { offset := (rw.offset + span + 1) % rw.size rw.win.reduce(offset, diff, fn) } } //距离上次add操作跨度, //例如 lastTime = 1s, 当前时间1777ms。样本窗口时间250ms,那么跨度为3个样本窗口 func (rw *RollingWindow) span() int { offset := int(timex.Since(rw.lastTime) / rw.interval) if 0 <= offset && offset < rw.size { return offset } return rw.size } //g func (rw *RollingWindow) updateOffset() { span := rw.span() if span <= 0 { return } offset := rw.offset // reset expired buckets ,重置已经超时的bucket for i := 0; i < span; i++ { rw.win.resetBucket((offset + i + 1) % rw.size) } rw.offset = (offset + span) % rw.size now := timex.Now() //和样本窗口时间对齐 rw.lastTime = now - (now-rw.lastTime)%rw.interval }
三 使用
//1.新建一个4样本窗口,每个样本窗口250ms rollingWindow:= NewRollingWindow(4, time.Millisecond*250,IgnoreCurrentBucket()) //2.add rollingWindow.Add(1) rollingWindow.Add(2) time.Sleep(time.Millisecond*250) rollingWindow.Add(3) rollingWindow.Add(4) //3.获取滑动窗口的值 var Sum float64 var total int64 rollingWindow.Reduce(func(b *collection.Bucket) { Sum += int64(b.Sum) total += b.Count })
到此这篇关于golang 实现时间滑动窗口的文章就介绍到这了,更多相关golang 时间滑动窗口内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
原文出处:https://blog.csdn.net/qq_16399991/article/details/127239852
上一篇: Golang Defer基础操作详解
相关文章
- 这篇文章主要介绍了golang 调用 php7详解及实例的相关资料,需要的朋友可以参考下...2017-01-15
- 这篇文章主要介绍了用golang实现替换某个文件中的字符串操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-25
- 这篇文章主要介绍了golang在GRPC中设置client的超时时间,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-27
- 这篇文章主要介绍了解决Golang json序列化字符串时多了\的情况,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-24
Golang中的自定义类型之间的转换的实现(type conversion)
这篇文章主要介绍了Golang中的自定义类型之间的转换的实现(type conversion),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-21- 这篇文章主要介绍了golang与php实现计算两个经纬度之间距离的方法,结合实例形式对比分析了Go语言与php进行经纬度计算的相关数学运算技巧,需要的朋友可以参考下...2016-07-29
解决golang处理http response碰到的问题和需要注意的点
这篇文章主要介绍了解决golang处理http response碰到的问题和需要注意的点,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-16- 这篇文章主要介绍了golang http使用踩过的坑与填坑指南,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-27
- 这篇文章主要介绍了golang文件读取-按指定BUFF大小读取方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-22
- Go(又称Golang)是Google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的编程语言。这篇文章给大家介绍golang 正则表达式的相关知识,感兴趣的朋友跟随小编一起看看吧...2021-05-07
- 这次文章为大家带来的是一个比较实用的示例:利用Golang生成整数随机数,对此感兴趣的可以一起来看看。 php随机数生成一个给定范围的随机数,用 PHP 就太简单不过了,而...2017-07-06
- 这篇文章主要介绍了golang DNS服务器的简单实现操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-01
- 这篇文章主要介绍了golang中json和struct的使用说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-01
Fedora14 Linux系统安装Golang开发环境笔记
这篇文章主要介绍了Fedora14 Linux系统安装Golang开发环境笔记,本文讲解了2种安装方法,需要的朋友可以参考下...2020-05-01- 这篇文章主要介绍了golang去除多余空白字符(含制表符)的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-04-25
golang elasticsearch Client的使用详解
这篇文章主要介绍了golang elasticsearch Client的使用详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-04- 这篇文章主要介绍了解决golang json解析出现值为空的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-12-24
- 这篇文章主要介绍了golang中的空接口使用,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-30
- 这篇文章主要介绍了Golang Cron 定时任务的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-05-11
- 这篇文章主要为大家介绍了golang开发安装go-torch火焰图操作步骤...2021-11-16