Opencv基于CamShift算法实现目标跟踪
CamShift算法全称是“Continuously Adaptive Mean-Shift”(连续的自适应MeanShift算法),是对MeanShift算法的改进算法,可以在跟踪的过程中随着目标大小的变化实时调整搜索窗口大小,对于视频序列中的每一帧还是采用MeanShift来寻找最优迭代结果,至于如何实现自动调整窗口大小的,可以查到的论述较少,我的理解是通过对MeanShift算法中零阶矩的判断实现的。
在MeanShift算法中寻找搜索窗口的质心用到窗口的零阶矩M00和一阶矩M10,M01:
零阶矩是搜索窗口内所有像素的积分,即所有像素值之和,物理上的意义是计算搜索窗口的尺寸。经过目标的H分量直方图反向投影后,目标区域的搜索窗口大部分像素值归一化后应该是最大值255,如果计算出来零阶矩大于某一阈值,可以认为此时目标铺满了整个搜索窗口,有理由认为在搜索窗口之外的区域还存在目标区域,需要增大搜索窗口的尺寸;相应的,如果零阶矩小于某一阈值,则需要缩小搜索窗口的尺寸,如此一来,当目标的大小发生变化的时候,CamShift算法就可以自适应的调整目标区域进行跟踪。
以上过程中涉及到一个关键的概念——反向投影,CamShift和MeanShift的运算都是在反向投影图像上进行的,反向投影的实现过程如下:计算并生成目标区域的H分量的直方图,反向投影其实就是把目标图像上每一个像素点的像素值替换为当前像素值所在bin对应的直方图bin的数值。
Opencv中CamShfit在使用上跟MeanShift一致:
CamShift( InputArray probImage, CV_OUT CV_IN_OUT Rect& window, TermCriteria criteria );
第一个参数probImage是反向投影图像
第二个参数window是输入和输出的搜索窗口/目标窗口,window的尺寸会自动调整
第三个参数criteria是迭代收敛终止条件
#include "core/core.hpp" #include "highgui/highgui.hpp" #include "imgproc/imgproc.hpp" #include "video/tracking.hpp" #include<iostream> using namespace cv; using namespace std; Mat image; Mat rectImage; Mat imageCopy; //绘制矩形框时用来拷贝原图的图像 bool leftButtonDownFlag=false; //左键单击后视频暂停播放的标志位 Point originalPoint; //矩形框起点 Point processPoint; //矩形框终点 Mat targetImageHSV; int histSize=200; float histR[]={0,255}; const float *histRange=histR; int channels[]={0,1}; Mat dstHist; Rect rect; vector<Point> pt; //保存目标轨迹 void onMouse(int event,int x,int y,int flags ,void* ustc); //鼠标回调函数 int main(int argc,char*argv[]) { VideoCapture video(argv[1]); double fps=video.get(CV_CAP_PROP_FPS); //获取视频帧率 double pauseTime=1000/fps; //两幅画面中间间隔 namedWindow("跟踪木头人",0); setMouseCallback("跟踪木头人",onMouse); while(true) { if(!leftButtonDownFlag) //判定鼠标左键没有按下,采取播放视频,否则暂停 { video>>image; } if(!image.data||waitKey(pauseTime)==27) //图像为空或Esc键按下退出播放 { break; } if(originalPoint!=processPoint&&!leftButtonDownFlag) { Mat imageHSV; Mat calcBackImage; cvtColor(image,imageHSV,CV_RGB2HSV); calcBackProject(&imageHSV,2,channels,dstHist,calcBackImage,&histRange); //反向投影 TermCriteria criteria(TermCriteria::MAX_ITER + TermCriteria::EPS, 1000, 0.001); CamShift(calcBackImage, rect, criteria); Mat imageROI=imageHSV(rect); //更新模板 targetImageHSV=imageHSV(rect); calcHist(&imageROI, 2, channels, Mat(), dstHist, 1, &histSize, &histRange); normalize(dstHist, dstHist, 0.0, 1.0, NORM_MINMAX); //归一化 rectangle(image, rect, Scalar(255, 0, 0),3); //目标绘制 pt.push_back(Point(rect.x+rect.width/2,rect.y+rect.height/2)); for(int i=0;i<pt.size()-1;i++) { line(image,pt[i],pt[i+1],Scalar(0,255,0),2.5); } } imshow("跟踪木头人",image); waitKey(100); } return 0; } //*******************************************************************// //鼠标回调函数 void onMouse(int event,int x,int y,int flags,void *ustc) { if(event==CV_EVENT_LBUTTONDOWN) { leftButtonDownFlag=true; //标志位 originalPoint=Point(x,y); //设置左键按下点的矩形起点 processPoint=originalPoint; } if(event==CV_EVENT_MOUSEMOVE&&leftButtonDownFlag) { imageCopy=image.clone(); processPoint=Point(x,y); if(originalPoint!=processPoint) { //在复制的图像上绘制矩形 rectangle(imageCopy,originalPoint,processPoint,Scalar(255,0,0),2); } imshow("跟踪木头人",imageCopy); } if(event==CV_EVENT_LBUTTONUP) { leftButtonDownFlag=false; rect=Rect(originalPoint,processPoint); rectImage=image(rect); //子图像显示 imshow("Sub Image",rectImage); cvtColor(rectImage,targetImageHSV,CV_RGB2HSV); imshow("targetImageHSV",targetImageHSV); calcHist(&targetImageHSV,2,channels,Mat(),dstHist,1,&histSize,&histRange,true,false); normalize(dstHist,dstHist,0,255,CV_MINMAX); imshow("dstHist",dstHist); } }
蓝色窗口是跟踪的目标,绿色线条是目标走过的轨迹。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持猪先飞。
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
- 图片剪裁是常用的方法,那么如何通过4坐标剪裁图片,本文就详细的来介绍一下,感兴趣的小伙伴们可以参考一下...2021-06-04
- 这篇文章主要介绍了OpenCV如何去除图片中的阴影的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-29
- 这篇文章主要介绍了解决使用OpenCV中的imread()内存报错问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python OpenCV的相关资料,帮助大家更好的理解和学习使用python的opencv,感兴趣的朋友可以了解下...2021-03-31
- 这篇文章主要介绍了使用OpenCV去除面积较小的连通域,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-05
详解pycharm的python包opencv(cv2)无代码提示问题的解决
这篇文章主要介绍了详解pycharm的python包opencv(cv2)无代码提示问题的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-01-29在C#中使用OpenCV(使用OpenCVSharp)的实现
这篇文章主要介绍了在C#中使用OpenCV(使用OpenCVSharp)的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-15浅谈OpenCV中的新函数connectedComponentsWithStats用法
这篇文章主要介绍了浅谈OpenCV中的新函数connectedComponentsWithStats用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-05- 这篇文章主要为大家详细介绍了C++ opencv实现车道线识别,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-20
详解opencv中画圆circle函数和椭圆ellipse函数
这篇文章主要介绍了opencv中画圆circle函数和椭圆ellipse函数,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下...2020-05-09- 凸包是一个计算几何中的概念,在图像处理过程中,我们常常需要寻找图像中包围某个物体的凸包,本文就使用OpenCV实现,感兴趣的可以了解一下...2021-06-08
python中的opencv和PIL(pillow)转化操作
这篇文章主要介绍了python中的opencv和PIL(pillow)转化操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16- 这篇文章主要为大家详细介绍了Opencv LBPH人脸识别算法的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25
- 这篇文章主要介绍了python基于opencv检测程序运行效率,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-05-09
- 这篇文章主要介绍了python基于OpenCV模板匹配识别图片中的数字,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-03-31
- 今天小编就为大家分享一篇python-OpenCV 实现将数组转换成灰度图和彩图,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了Opencv实现绿幕视频背景替换功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-04-25
- 这篇文章主要介绍了Opencv图像处理之详解掩膜mask,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-21
- 这篇文章主要介绍了使用opencv识别图像红色区域,并输出红色区域中心点坐标,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-06-03