您的位置：首页 > 编程技术 > csharp  >  C#通过正则表达式实现提取网页中的图片

C#通过正则表达式实现提取网页中的图片

 更新时间：2020年6月25日 11:25  点击：2027

目前在做项目中有处理图片的部分，参考了一下网上案例，自己写了一个获取内容中的图片地址的方法。

 一般来说一个 HTML 文档有很多标签，比如“<html>”、“<body>”、“<table>”等，想把文档中的 img 标签提取出来并不是一件容易的事。由于 img 标签样式变化多端，使提取的时候用程序寻找并不容易。于是想要寻找它们就必须写一个非常健全的正则表达式，不然有可能会找得不全，或者找出来的不是正确的 img 标签。

我们可以从 HTML 标签的格式去想应该怎么建这个正则表达式。首先要想一下 img 标签有几种写法，忽略大小写不看的话，下面列出 img 标签可能出现的几种情况。
<img> <img/> <img src=/>

这一些标签不用考虑，因为没有图片资源地址。
<img src = /images/pic.jpg/ > <img src =" /images/pic.jpg" > <img src= '/images/pic.jpg ' / >

这一些标签都有图片资源地址，另外还有一个特点就是有引号对，可能为单引号，也可能为双引号。因为不需要同时匹配引号对，所以正则表达式可以这么写：@"<img\s*src\s*=\s*[""']?\s*(?[^\s""'<>]*)\s*/?\s*>"
<img width="320" height="240" src=/images/pic.jpg onclick="window.open('/images/pic.jpg')">

因为 img 和 src 之间可能会有其他的参数，所以“<img”要有个单词结束，比如说不能是“<imgabc”，同样 src 前面也是一样，使用单词结束符“\b”有一个好处就是省去了表示空格的“\s*”。另外由于 img 标签中不可以出现“<”、“>”这样的符号，所以要改写前面的正则表达式：@"<img\b[^<>]*?\bsrc\s*=\s*[""']?\s*(?<imgUrl>[^\s""'<>]*)[^<>]*?/?\s*>"
<img width="320" height="240" src = "
/images/pic.jpg" />

像这种可能会用回车符折行的问题有时候会出现，所以在有空格分开的地方要包含回车换行和 TAB 字符，另外在图片地址中不能出现空格、TAB、回车和换行字符。

所以上面的正则表达式可以改成：@"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""']?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""'<>]*)[^<>]*?/?[\s\t\r\n]*>"

下面写出取得HTML中所有图片地址的类HvtHtmlImage：

using System.Text.RegularExpressions;
namespace HoverTree.HoverTreeFrame.HvtImage
{
public class HvtHtmlImage
{
/// <summary> 
/// 取得HTML中所有图片的 URL。 
/// </summary> 
/// <param name="sHtmlText">HTML代码</param> 
/// <returns>图片的URL列表</returns> 
public static string[] GetHvtImgUrls(string sHtmlText)
{
// 定义正则表达式用来匹配 img 标签 
Regex m_hvtRegImg = new Regex(@"<img\b[^<>]*?\bsrc[\s\t\r\n]*=[\s\t\r\n]*[""']?[\s\t\r\n]*(?<imgUrl>[^\s\t\r\n""'<>]*)[^<>]*?/?[\s\t\r\n]*>", RegexOptions.IgnoreCase);

// 搜索匹配的字符串 
MatchCollection matches = m_hvtRegImg.Matches(sHtmlText);
int m_i = 0;
string[] sUrlList = new string[matches.Count];
// 取得匹配项列表 
foreach (Match match in matches)
sUrlList[m_i++] = match.Groups["imgUrl"].Value;
return sUrlList;
}
}
}

下面我们再来看一个例子

public Array MatchHtml(string html,string com)
    {
      List<string> urls = new List<string>();
      html = html.ToLower();
      //获取SRC标签中的URL
      Regex regexSrc = new Regex("src=\"[^\"]*[(.jpg)(.png)(.gif)(.bmp)(.ico)]\"");
      foreach(Match m in regexSrc.Matches(html))
      {
        string src = m.Value;
        src = src.Replace("src=","").Replace("\"","");
        if (!src.Contains("http"))
          src = com + src;
        if(!urls.Contains(src))
        urls.Add(src);
      }
      //获取HREF标签中URL
      Regex regexHref = new Regex("href=\"[^\"]*[(.jpg)(.png)(.gif)(.bmp)(.ico)]\"");
      foreach (Match m in regexHref.Matches(html))
      {
        string href = m.Value;
        href = href.Replace("href=", "").Replace("\"", "");
        if (!href.Contains("http"))
          href = com + href;
        if(!urls.Contains(href))
        urls.Add(href);
      }
      return urls.ToArray();
    }

[DllImport("kernel32.dll")]
    static extern bool SetConsoleMode(IntPtr hConsoleHandle, int mode);
    [DllImport("kernel32.dll")]
    static extern bool GetConsoleMode(IntPtr hConsoleHandle, out int mode);
    [DllImport("kernel32.dll")]
    static extern IntPtr GetStdHandle(int handle);
    const int STD_INPUT_HANDLE = -10;
    const int ENABLE_QUICK_EDIT_MODE = 0x40 | 0x80;
    public static void EnableQuickEditMode()
    {
      int mode; IntPtr handle = GetStdHandle(STD_INPUT_HANDLE);
      GetConsoleMode(handle, out mode);
      mode |= ENABLE_QUICK_EDIT_MODE;
      SetConsoleMode(handle, mode);
    }
    static void Main(string[] args)
    {
      EnableQuickEditMode();
      int oldCount = 0;
      Console.Title = "TakeImageFromInternet";
      string path = "E:\\Download\\loading\\";
      while (true)
      {
        Console.Clear();
        string countFile = "E:\\CountFile.txt";//用来计数的文本，以至于文件名不重复
        int cursor = 0;
        if (File.Exists(countFile))
        {
          string text = File.ReadAllText(countFile);
          try
          {
            cursor =oldCount = Convert.ToInt32(text);//次数多了建议使用long
          }
          catch { }
        }
        Console.Write("please input a url:");
        string url = "http://www.baidu.com/";
        string temp = Console.ReadLine();
        if (!string.IsNullOrEmpty(temp))
          url = temp;
        Match mcom = new Regex(@"^(?i)http://(\w+\.){2,3}(com(\.cn)?|cn|net)\b").Match(url);//获取域名
        string com = mcom.Value;
        //Console.WriteLine(mcom.Value);
        Console.Write("please input a save path:");
        temp = Console.ReadLine();
        if (Directory.Exists(temp))
          path = temp;
        Console.WriteLine();
        WebClient client = new WebClient();
        byte[] htmlData = null;
        htmlData = client.DownloadData(url);
        MemoryStream mstream = new MemoryStream(htmlData);
        string html = "";
        using (StreamReader sr = new StreamReader(mstream))
        {
          html = sr.ReadToEnd();
        }
        Array urls = new MatchHtmlImageUrl().MatchHtml(html,com);
 
        foreach (string imageurl in urls)
        {
         Console.WriteLine(imageurl);
          byte[] imageData = null;
          try
          {
            imageData = client.DownloadData(imageurl);
          }
          catch { }
          if (imageData != null && imageData.Length>0)
            using (MemoryStream ms = new MemoryStream(imageData))
            {
              try
              {
                
                string ext = Aping.Utility.File.FileOpration.ExtendName(imageurl);
                ImageFormat format = ImageFormat.Jpeg;
                switch (ext)
                {
                  case ".jpg":
                    format = ImageFormat.Jpeg;
                    break;
                  case ".bmp":
                    format = ImageFormat.Bmp;
                    break;
                  case ".png":
                    format = ImageFormat.Png;
                    break;
                  case ".gif":
                    format = ImageFormat.Gif;
                    break;
                  case ".ico":
                    format = ImageFormat.Icon;
                    break;
                  default:
                    continue;
                }
                Image image = new Bitmap(ms);
                if (Directory.Exists(path))
                  image.Save(path + "\\" + cursor + ext, format);
              }
              catch(Exception ex) { Console.WriteLine(ex.Message); }
            }
          cursor++;
        }
        mstream.Close();
        File.WriteAllText(countFile, cursor.ToString(), Encoding.UTF8);
        Console.WriteLine("take done...image count:"+(cursor-oldCount).ToString());
      }      
    }

[!--infotagslink--]

相关文章

  • PHP正则表达式取双引号内的内容

    取双引号内的内容我们如果一个字符串中只有一个可以使用explode来获得，但如果有多个需要使用正则表达式来提取了，具体的例子如下。 写程序的时候总结一点经验，如何只...2016-11-25

  • PHP正则表达式之捕获组与非捕获组

    今天遇到一个正则匹配的问题，忽然翻到有捕获组的概念，手册上也是一略而过，百度时无意翻到C#和Java中有对正则捕获组的特殊用法，搜索关键词有PHP时竟然没有相关内容，自己试了一下，发现在PHP中也是可行的，于是总结一下，分享的同...2015-11-08

  • php 验证只能输入汉字、英语、数字的正则表达式

    正则表达式是一门非常有用的并且进行模糊判断的一个功能了，我们下面来看通过正则来验证输入汉字、英语、数字，具体如下。 收藏了正则表达式。可以验证只能输入数...2016-11-25

  • java正则表达式判断前端参数修改表中另一个字段的值

    这篇文章主要介绍了java正则表达式判断前端参数修改表中另一个字段的值,需要的朋友可以参考下...2021-05-07

  • 常用的日期时间正则表达式

    常用的日期时间正则表达式 下面收藏了大量的日期时间正则匹配函数，包括分钟，时间与秒都能达到。 正则表达式 (?n:^(?=d)((?<day>31(?!(.0?[2469]|11))|30(?!.0?2)|29(...2016-11-25

  • PHP正则表达式匹配验证提取网址URL实例总结

    网址规则是可寻的，所以我们可以使用正则表达式来提取字符串中的url地址了，下面一起来看看小编整理的几个PHP正则表达式匹配验证提取网址URL实例. 匹配网址 URL 的...2016-11-25

  • 正则表达式中两个反斜杠的匹配规则详解

    这篇文章主要介绍了正则表达式中两个反斜杠的匹配规则,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-05-07

  • JS中使用正则表达式g模式和非g模式的区别

    这篇文章给大家详细介绍了JS中使用正则表达式g模式和非g模式的区别，非常不错，具有参考借鉴价值，需要的朋友参考下吧...2017-04-03

  • C#正则表达式使用方法示例

    这篇文章主要介绍了C#正则表达式使用方法,大家参考使用...2020-06-25

  • 常用C#正则表达式汇总介绍

    c#正则表达式,用于字符串处理、表单验证等场合，实用高效。现将一些常用的表达式收集于此，以备不时之需。...2020-06-25

  • JavaScript利用正则表达式替换字符串中的内容

    本文主要介绍了JavaScript利用正则表达式替换字符串中内容的具体实现方法，并做了简要注释，便于理解。具有一定的参考价值，需要的朋友可以看下...2017-01-09

  • 一文秒懂python正则表达式常用函数

    这篇文章主要介绍了python正则表达式常用函数及使用方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-05-07

  • Idea使用正则表达式批量替换字符串的方法

    这篇文章给大家介绍了Idea使用正则表达式批量替换字符串的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧...2021-07-21

  • PHP正则表达式之捕获组与非捕获组

    今天遇到一个正则匹配的问题，忽然翻到有捕获组的概念，手册上也是一略而过，百度时无意翻到C#和Java中有对正则捕获组的特殊用法，搜索关键词有PHP时竟然没有相关内容，自己试了一下，发现在PHP中也是可行的，于是总结一下，分享的同...2015-11-08

  • C# 中使用正则表达式匹配字符的含义

    正则表达式的作用用来描述字符串的特征。本文重点给大家介绍C# 中使用正则表达式匹配字符的含义，非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧...2020-06-25

  • Python验证的50个常见正则表达式

    这篇文章主要给大家介绍了关于利用Python验证的50个常见正则表达式的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-03-11

  • PHP正则表达式过滤html标签属性(DEMO)

    这篇文章主要介绍了PHP正则表达式过滤html标签属性的相关内容，实用性非常，感兴趣的朋友参考下吧...2016-05-06

  • js用正则表达式筛选年月日的实例方法

    在本篇文章里小编给大家整理的是一篇关于js用正则表达式筛选年月日的实例方法，对此有兴趣的朋友们可以学习下。...2021-01-04

  • javascript 手机号码正则表达式验证函数 <font color=red>原创</font>

    随着手机号码段的不断增加,以前网上的手机号码验证函数都不能那么完美的支持了，这里脚本之家编辑特为大家准备的一个简单的正则与手机验证的函数分析。...2021-05-07

  • layui 正则表达式验证使用实例详解

    layui的正则表达式是在form表单中完成的，这篇文章主要介绍了layui 正则表达式验证使用教程，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-05-07