您的位置：首页 > 编程技术 > python  >  requests.gPython 用requests.get获取网页内容为空 ’ ’问题

requests.gPython 用requests.get获取网页内容为空 ’ ’问题

 更新时间：2022年1月9日 14:14  点击：413 作者：你隔壁的小王

下面先来看一个例子：

import  requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result

输出结果：

表示成功处理了请求，一般情况下都是返回此状态码； 报200代表没问题

 继续运行，发现返回空值，在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。

一、如何设置headers

拿两个常用的浏览器举例：

1、QQ浏览器

界面 F12 

 点击network 键入 CTRL+R

 单击第一个 最下边就是我门需要的 把他设置成headers解决问题

2、Miscrosft edge

二、微软自带浏览器

同样 F12 打开开发者工具

 点击网络，CTRL+R

 前文代码修改：

import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text

成功解决不能爬取问题

到此这篇关于requests.gPython 用requests.get获取网页内容为空 ’ ’的文章就介绍到这了,更多相关requests.gPython 用requests.get获取网页内容为空 ’ ’内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！

原文出处：https://blog.csdn.net/weixin_43212535/article/details/122290

[!--infotagslink--]

相关文章

  • PHP成员变量获取对比(类成员变量)

    下面本文章来给大家介绍在php中成员变量的一些对比了，文章举了四个例子在这例子中分别对不同成员变量进行测试与获取操作，下面一起来看看。 有如下4个代码示例，你认...2016-11-25

  • php 获取用户IP与IE信息程序

    php 获取用户IP与IE信息程序 function onlineip() { global $_SERVER; if(getenv('HTTP_CLIENT_IP')) { $onlineip = getenv('HTTP_CLIENT_IP');...2016-11-25

  • php获取一个文件夹的mtime的程序

    php获取一个文件夹的mtime的程序了，这个就是时间问题了，对于这个问题我们来看小编整理的几个例子，具体的操作例子如下所示。 php很容易获取到一个文件夹的mtime，可以...2016-11-25

  • 如何获取网站icon有哪些可行的方法

    获取网站icon，常用最简单的方法就是通过website/favicon.ico来获取，不过由于很多网站都是在页面里面设置favicon，所以此方法很多情况都不可用。 更好的办法是通过google提供的服务来实现：http://www.google.com/s2/favi...2014-06-07

  • jquery如何获取元素的滚动条高度等实现代码

    主要功能：获取浏览器显示区域（可视区域）的高度 ： $(window).height(); 获取浏览器显示区域（可视区域）的宽度 ：$(window).width(); 获取页面的文档高度 $(document).height(); 获取页面的文档宽度 ：$(document).width();...2015-10-21

  • jquery获取div距离窗口和父级dv的距离示例

    jquery中jquery.offset().top / left用于获取div距离窗口的距离，jquery.position().top / left 用于获取距离父级div的距离（必须是绝对定位的div）。 （1）先介绍jquery.offset().top / left css： 复制代码 代码如下: *{ mar...2013-10-13

  • Jquery 获取指定标签的对象及属性的设置与移除

    1、先讲讲JQuery的概念，JQuery首先是由一个 America 的叫什么 John Resig的人创建的，后来又很多的JS高手也加入了这个团队。其实 JQuery是一个JavaScript的类库，这个类库集合了很多功能方法，利用类库你可以用简单的一些代...2014-05-31

  • php根据用户语言跳转相应网页

    当来访者浏览器语言是中文就进入中文版面，国外的用户默认浏览器不是中文的就跳转英文页面。 <&#63;php $lan = substr(&#8194;$HTTP_ACCEPT_LANGUAGE,0,5); if ($lan == "zh-cn") print("<meta http-equiv='refresh' c...2015-11-08

  • C#获取字符串后几位数的方法

    这篇文章主要介绍了C#获取字符串后几位数的方法,实例分析了C#操作字符串的技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25

  • DOM XPATH获取img src值的query

    复制代码 代码如下:$nodes = @$xpath->query("//*[@id='main_pr']/img/@src");$prurl = $nodes->item(0)->nodeValue;...2013-10-04

  • jquery获取tagName再进行判断

    如果是为了取到tagName后再进行判断，那直接用下面的代码会更方便： $(element).is('input') 如果是要取到标签用作到别的地方，可以使用一下代码： $(element)[0].tagName 或： $(element).get(0).tagName...2014-05-31

  • 腾讯视频怎么放到自己的网页上?

    腾讯视频怎么放到自己的网页上?这个问题是一个基本的问题，要把腾讯视频放到自己的网页有许多的办法，当然一般情况就是直接使用它们的网页代码了，如果你要下载资源再放到...2016-09-20

  • PHP 如何获取二维数组中某个key的集合

    本文为代码分享，也是在工作中看到一些“大牛”的代码，做做分享。 具体是这样的，如下一个二维数组，是从库中读取出来的。 代码清单： 复制代码 代码如下: $user = array( 0 => array( 'id' => 1, 'name' => '张三', 'ema...2014-06-07

  • php获取汉字拼音首字母的方法

    现实中我们经常看到这样的说明，排名不分先后，按姓名首字母进行排序。这是中国人大多数使用的排序方法。那么在php程序中该如何操作呢？下面就分享一下在php程序中获取汉字拼音的首字母的方法，在网上搜到的大多数是有问题的...2015-10-23

  • 使用C#获取系统特殊文件夹路径的解决方法

    本篇文章是对使用C#获取系统特殊文件夹路径的解决方法进行了详细的分析介绍，需要的朋友参考下...2020-06-25

  • 基于JavaScript实现网页倒计时自动跳转代码

    这篇文章主要介绍了基于JavaScript实现网页倒计时自动跳转代码 的相关资料,需要的朋友可以参考下...2015-12-29

  • php如何获取文件的扩展名

    网上也有很多类似的方法，不过都存在这样那样的不严谨的问题，本文就不一一分析了，这里只给出最正确的利用php 获取文件扩展名（文件后缀名）的方法。 function get_extension($filename){ return pathinfo($filename,PATHIN...2015-10-30

  • 基于JavaScript获取鼠标位置的各种方法

    这篇文章主要介绍了基于JavaScript获取鼠标位置的各种方法 ,需要的朋友可以参考下...2015-12-18

  • C#获取变更过的DataTable记录的实现方法

    这篇文章主要介绍了C#获取变更过的DataTable记录的实现方法,对初学者很有学习借鉴价值,需要的朋友可以参考下...2020-06-25

  • 网页头部声明lang=”zh-cn”、lang=“zh”、lang=“zh-cmn-Hans”区别

    我们现在使用的软件都会自动在前面加一个申明了，那么在网页头部声明lang=”zh-cn”、lang=“zh”、lang=“zh-cmn-Hans”区别是什么呢？下面我们就一起来看看吧． 单...2016-09-20