Asp.Net、asp实现的搜索引擎网址收录检查程序
更新时间:2021年9月22日 10:11 点击:1514
使用asp.net或者asp检查某个url地址,某篇文章是否被搜索引擎,如百度,谷歌,搜狗收录。
实现原理:直接搜索你那篇文章的url地址(不带协议,但上协议也行,代码会自动去掉协议内容),如果被索引会返回搜索结果,否则会提示找不到信息。
Asp.Net检查百度,谷歌,搜狗搜索引擎是否收录文章网址源代码:
using System; using System.Net; using System.Text; using System.IO; using System.Web; public class SearchEngineIndex { public static string[] urls = { //搜索引擎检查地址 "http://www.baidu.com/s?ie=utf-8&wd=",//百度索引url检查地址 "https://www.google.com.hk/search?q=",//谷歌索引url检查地址 "http://www.sogou.com/web?ie=utf8&query="//搜狗索引url检查地址 } , noFindKeyword = { "抱歉,没有找到与", "找不到和您的查询", "未收录?" };//搜索引擎未索引url地址时的关键字 /// <summary> /// 获取响应的编码 /// </summary> /// <param name="contenttype"></param> /// <returns></returns> private static Encoding GetEncoding(string contenttype) { if (!string.IsNullOrEmpty(contenttype)) { contenttype = contenttype.ToLower(); if (contenttype.IndexOf("gb2312") != -1 || contenttype.IndexOf("gbk") != -1) return Encoding.GetEncoding(936); if (contenttype.IndexOf("big5") != -1) return Encoding.GetEncoding(950); } return Encoding.UTF8; } /// <summary> /// 使用HttpWebRequest对象,自动识别字符集 /// </summary> /// <param name="url"></param> /// <param name="addUseragent">是否添加UserAgent,采集其他网站时防止被拦截</param> /// <returns></returns> public static string GetHtml(string url, bool addUseragent) { HttpWebRequest request = (HttpWebRequest)HttpWebRequest.Create(url); if (addUseragent) request.UserAgent = "Googlebot|Feedfetcher-Google|Baiduspider"; string html = null; try { HttpWebResponse response = (HttpWebResponse)request.GetResponse(); StreamReader srd = new StreamReader(response.GetResponseStream(), GetEncoding(response.ContentType)); html = srd.ReadToEnd(); srd.Close(); response.Close(); } catch { } return html; } /// <summary> /// 检查某个url是否被搜索引擎索引 /// </summary> /// <param name="url">url地址</param> /// <param name="engin">0:百度 1:谷歌 2:搜狗,其他搜索引擎如bing和360直接查网址显示的结果不是直接得到网址的,有些出入,不做检查</param> /// <returns></returns> public static bool CheckIndex(string url, int engin) { if (string.IsNullOrEmpty(url)) return false; if (engin < 0 || engin > 2) engin = 0; url = urls[engin] + HttpUtility.UrlEncode(url.ToLower().Replace("http://", "").Replace("https://", "")); bool r = true; string html = GetHtml(url, true); if (html == null || html.IndexOf(noFindKeyword[engin]) != -1) r = false; return r; } } //调用方法示例 SearchEngineIndex.CheckIndex("www.jb51.net/article/20101014/2902.aspx", 0);//检查百度索引 SearchEngineIndex.CheckIndex("www.jb51.net/article/20101014/2902.aspx", 1);//检查谷歌索引 SearchEngineIndex.CheckIndex("www.jb51.net/article/20101014/2902.aspx", 2);//检查搜狗索引
Asp检查百度,谷歌,搜狗搜索引擎是否收录文章网址源代码:
<% class SearchEnginIndex dim urls,noFindKeyword private sub Class_Initialize '百度,谷歌,搜狗url地址索引查询地址 urls=array("http://www.baidu.com/s?ie=utf-8&wd=","https://www.google.com.hk/search?q=","http://www.sogou.com/web?ie=utf8&query=") '搜索引擎未索引url地址时的关键字 NoFindKeyword=array("抱歉,没有找到与", "找不到和您的查询", "未收录?") End sub private function GetEncoding(contenttype) contenttype=lcase(contenttype) if instr(contenttype,"gb2312")<>0 and instr(contenttype,"gbk")<>0 then GetEncoding="gb2312" elseif instr(contenttype,"big5")<>0 then GetEncoding="big5" else GetEncoding="utf-8" end if end function private function BinToString(bin,encoding)'将2进制流数据依据编码转为对应的字符串内容 dim obj set obj=Server.CreateObject("Adodb.Stream") obj.Type=1:obj.Mode=3:obj.Open obj.Write bin obj.Position=0:obj.Type=2:obj.Charset=encoding BinToString=obj.ReadText obj.Close:set obj=nothing end function public function GetHtml(url) dim xhr set xhr=server.CreateObject("microsoft.xmlhttp") xhr.open "get",url,false xhr.send encoding=GetEncoding(xhr.getResponseHeader("content-type")) response.CharSet=encoding GetHtml=BinToString(xhr.responsebody,encoding) set xhr=nothing end function public function CheckIndex(url,engin) if len(url)=0 then exit function if engin<0 or engin>2 then engin=1 url=urls(engin)&server.URLEncode(url) dim html html=GetHtml(url) CheckIndex=instr(html,NoFindKeyword(engin))=0 End function end Class set sei=new SearchEnginIndex response.Write sei.CheckIndex("www.jb51.net/article/20101014/2902.aspx",0)'百度索引 response.Write sei.CheckIndex("www.jb51.net/article/20101014/2902.aspx",1)'谷歌索引 response.Write sei.CheckIndex("www.jb51.net/article/20101014/2902.aspx",2)'搜狗索引 set sei=nothing %>
相关文章
- 这篇文章主要为大家详细介绍了ASP.NET购物车的实现过程,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-09-22
- 在开发过程中,使用Visual Studio的断点调试功能可以很方便帮我们调试发现程序存在的错误,同样Visual Studio也支持对SQL Server里面的存储过程进行调试,下面就让我们看看具体的调试方法。...2021-09-22
ASP.NET Core根据环境变量支持多个 appsettings.json配置文件
这篇文章主要介绍了ASP.NET Core根据环境变量支持多个 appsettings.json配置文件,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-09-22- 这篇文章主要介绍了记一次EFCore类型转换错误及解决方案,帮助大家更好的理解和学习使用asp.net core,感兴趣的朋友可以了解下...2021-09-22
详解ASP.NET Core 中基于工厂的中间件激活的实现方法
这篇文章主要介绍了ASP.NET Core 中基于工厂的中间件激活的实现方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-22asp.net通过消息队列处理高并发请求(以抢小米手机为例)
这篇文章主要介绍了asp.net通过消息队列处理高并发请求(以抢小米手机为例),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-09-22ASP.NET单选按钮控件RadioButton常用属性和方法介绍
RadioButton又称单选按钮,其在工具箱中的图标为 ,单选按钮通常成组出现,用于提供两个或多个互斥选项,即在一组单选钮中只能选择一个...2021-09-22ASP.NET 2.0中的数据操作:使用两个DropDownList过滤的主/从报表
在前面的指南中我们研究了如何显示一个简单的主/从报表, 该报表使用DropDownList和GridView控件, DropDownList填充类别,GridView显示选定类别的产品. 这类报表用于显示具有...2016-05-19ASP.NET中iframe框架点击左边页面链接 右边显示链接页面内容
这篇文章主要介绍了ASP.NET中iframe框架点击左边页面链接,右边显示链接页面内容的实现代码,感兴趣的小伙伴们可以参考一下...2021-09-22- ASP.NET Web API具有与ASP.NET MVC类似的编程方式,ASP.NET Web API不仅仅具有一个完全独立的消息处理管道,而且这个管道比为ASP.NET MVC设计的管道更为复杂,功能也更为强大。下面创建一个简单的Web API项目,需要的朋友可以参考下...2021-09-22
- 这篇文章主要介绍了ASP.NET连接MySql数据库的2个方法及示例,使用的是MySQL官方组件和ODBC.NET,需要的朋友可以参考下...2021-09-22
- 这篇文章主要介绍了Asp.Net使用Bulk实现批量插入数据的方法,对于进行asp.net数据库程序设计非常有借鉴价值,需要的朋友可以参考下...2021-09-22
- 这篇文章主要介绍了获取DataTable选择第一行某一列值,需要的朋友可以参考下...2021-09-22
- 这篇文章介绍了Asp.net动态生成html页面的方法,有需要的朋友可以参考一下...2021-09-22
- 这篇文章主要介绍了ASP.Net中的async+await异步编程的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-09-22
- 这篇文章主要介绍了详解ASP.NET Core Token认证,小编觉得挺不错的,现在分享给大家,也给大家做个参考。...2021-09-22
ASP.NET百度Ueditor编辑器实现上传图片添加水印效果
这篇文章主要给大家介绍了ASP.NET百度Ueditor编辑器1.4.3这个版本实现上传图片添加水印效果的相关资料,文中通过图文及示例代码介绍的非常详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起看看吧。...2021-09-22在ASP.NET 2.0中操作数据之二十九:用DataList和Repeater来显示数据
本文主要讲解ASP.NET 2.0中如何使用DataList 和 Repeater 来呈现数据,DataList包含一个table标记,而Repeater不会添加任何额外的代码,个人在实际开发中更推荐使用Repeater。...2021-09-22- .net core是最近讨论频率很高的话题,下面这篇文章主要给大家介绍了关于利用.NET Core如何获取操作系统中各种信息的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧...2021-09-22
- 这篇文章主要介绍了asp.net core MVC之实现基于token的认证,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-05-07