python起点网月票榜字体反爬案例
更新时间：2021年12月3日 12:59 点击：265 作者：豪豪喜欢吃猪肉
前言：
字体反爬是什么个意思？就是网站把自己的重要数据不直接的在源代码中呈现出来，而是通过相应字体的编码，与一个字体文件（一般后缀为ttf或woff）把相应的编码转换为自己想要的数据，知道了原理，接下来开始展示才艺
1.解析过程
老规矩哈我们先进入起点月票榜f12调试，找到书名与其对应的月票数据所在，使用xpath尝试提取
可以看到刚刚好20条数据，接下来找月票数据：
这是什么鬼xpath检索出来20条数据但是数据为空，element中数据显示为未知符号，这貌似没有数据呀，这时我们观察源代码，搜索关键字font-face可以看到这种看不懂的编码，这就是前言中所说的字体的编码。
我们接下来找字体文件数据包
woff文件并且请求地址与这上面看到的地址一样，不过这里需要注意的是每次请求地址都不一样，文件名字也不一样，所以我们需要每爬取一次都要单独爬取一次字体加密数据，字体加密数据可以使用第三方库fonttools进行解析
我们现在拥有：
1.书名
2.月票数据的密文
3.月票数据密文对应的字体文件
2.开始敲代码
首先定义获取书名的函数get_book_name并进行测试:
import requests
from lxml import etree
def get_book_name(xml_obj):
name_list = xml_obj.xpath("//div[@class='book-mid-info']/h4/a/text()")
return name_list
if __name__ == '__main__':
# 设置我们通用的请求头，避免被反爬拦截
headers_ = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
'referer': 'https://www.qidian.com/rank/',
'cookie': 'e1=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; e2=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; _yep_uuid=6a2ad124-678f-04d3-7195-2e4e9f5c470e; _gid=GA1.2.501012674.1638335311; newstatisticUUID=1638335311_1217304635; _csrfToken=adBfL5dzru0KuzVgLJpxtsE8zQcfgZT8MzKf0aMs; e2=; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A16%22%2C%22l1%22%3A3%7D; _ga_FZMMH98S83=GS1.1.1638362844.2.1.1638362855.0; _ga_PFYW0QLV3P=GS1.1.1638362844.2.1.1638362855.0; _ga=GA1.2.2025243050.1638335311; _gat_gtag_UA_199934072_2=1'
}
url_ = 'https://www.qidian.com/rank/yuepiao/'
# 请求网页源代码
str_data = requests.get(url_, headers=headers_).text
# 使用xpath解析书名
xml_obj = etree.HTML(str_data)
print(get_book_name(xml_obj)) # ['从红月开始', '人族镇守使', '全属性武道', '深空彼岸', '我的云养女友', '我用闲书成圣人', '明克街13号', '星门', '东晋北府一丘八', '夜的命名术', '这个人仙太过正经', '顶级气运，悄悄修炼千年', '不科学御兽', '我的治愈系游戏', '这游戏也太真实了', '长夜余火', '赤心巡天', '轮回乐园', '合道', '宇宙职业选手']
2.请求月票数据密文，并进行测试：
import re
import requests
from lxml import etree
# 获取书名
def get_book_name(xml_obj):
name_list = xml_obj.xpath("//div[@class='book-mid-info']/h4/a/text()")
return name_list
# 获取月票加密数据
def get_yuepiao(str_data):
# 这里我们之前分析发现xpath取出来的数据是空值，我们直接对网页源代码使用re正则匹配获取加密数据
yuepiao_list=re.findall(r'''</style><span class=".*?">(.*?)</span>''',str_data)
return yuepiao_list
if __name__ == '__main__':
# 设置我们通用的请求头，避免被反爬拦截
headers_ = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
'referer': 'https://www.qidian.com/rank/',
'cookie': 'e1=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; e2=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; _yep_uuid=6a2ad124-678f-04d3-7195-2e4e9f5c470e; _gid=GA1.2.501012674.1638335311; newstatisticUUID=1638335311_1217304635; _csrfToken=adBfL5dzru0KuzVgLJpxtsE8zQcfgZT8MzKf0aMs; e2=; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A16%22%2C%22l1%22%3A3%7D; _ga_FZMMH98S83=GS1.1.1638362844.2.1.1638362855.0; _ga_PFYW0QLV3P=GS1.1.1638362844.2.1.1638362855.0; _ga=GA1.2.2025243050.1638335311; _gat_gtag_UA_199934072_2=1'
}
url_ = 'https://www.qidian.com/rank/yuepiao/'
# 请求网页源代码
str_data = requests.get(url_, headers=headers_).text
# 使用xpath解析书名
xml_obj = etree.HTML(str_data)
print(get_book_name(xml_obj)) # ['从红月开始', '人族镇守使', '全属性武道', '深空彼岸', '我的云养女友', '我用闲书成圣人', '明克街13号', '星门', '东晋北府一丘八', '夜的命名术', '这个人仙太过正经', '顶级气运，悄悄修炼千年', '不科学御兽', '我的治愈系游戏', '这游戏也太真实了', '长夜余火', '赤心巡天', '轮回乐园', '合道', '宇宙职业选手']
print(get_yuepiao(str_data)) # ['𘢒𘢒𘢐𘢉𘢎', '𘢌𘢋𘢐𘢐', '𘢌𘢏𘢌𘢑', '𘢑𘢉𘢒𘢎', '𘢑𘢎𘢋𘢔', '𘢑𘢏𘢏𘢉', '𘢎𘢑𘢐𘢉', '𘢎𘢏𘢑𘢔', '𘢎𘢒𘢉𘢏', '𘢏𘢎𘢏𘢎', '𘢔𘢑𘢑𘢔', '𘢔𘢎𘢐𘢓', '𘢔𘢔𘢑𘢐', '𘢔𘢒𘢑𘢏', '𘢔𘢐𘢒𘢐', '𘢒𘢌𘢉𘢌', '𘢒𘢑𘢌𘢓', '𘢒𘢑𘢎𘢓', '𘢒𘢎𘢓𘢉', '𘢒𘢎𘢏𘢐']
3.获取字体加密文件里的对应关系：
安装fonttools库
由于第一次使用fonttools库，在使用时遇到了以下错误 查询百度得知可能是由于字体文件名字有误，把名称换成url上面带的就成功的提取出来键值对了
（也可能是我使用re正则提取font_url时候不规范造成url错误）
只是这个键值对怎么编码对应英文，程序员为何为难程序员呢，不说了我们要定义一个英语与阿拉伯数字对应的字典进行对英文的替换
def get_font(xml_obj, headers_):
# 使用xpath与re获取字体加密数据包地址
font_div = xml_obj.xpath("//span/style/text()")[0]
font_url = re.findall("eot.*?(https:.*?.woff)", font_div)[0]
font_name = str(font_url).rsplit('/', 1)[1]
# 获取font文件进行本地保存
font_data = requests.get(font_url, headers_).content
with open(f'{font_name}', 'wb') as f:
f.write(font_data)
# 加载字体文件
font_data = TTFont(f'{font_name}')
# font_data.saveXML('字体.xml')
font_doct01 = font_data.getBestCmap()
font_doct02 = {
'period': '.',
'zero': '0',
'one': '1',
'two': '2',
'three': '3',
'four': '4',
'five': '5',
'six': '6',
'seven': '7',
'eight': '8',
'nine': '9'
}
for i in font_doct01:
font_doct01[i]=font_doct02[font_doct01[i]]
return font_doct01
程序完美运行：
总代码如下：
import re
import requests
from lxml import etree
from fontTools.ttLib import TTFont
# 获取书名
def get_book_name(xml_obj):
name_list = xml_obj.xpath("//div[@class='book-mid-info']/h4/a/text()")
return name_list
# 获取月票加密数据
def get_yuepiao(str_data):
# 这里我们之前分析发现xpath取出来的数据是空值，我们直接对网页源代码使用re正则匹配获取加密数据
yuepiao_list = re.findall(r'''</style><span class=".*?">(.*?)</span>''', str_data)
return yuepiao_list
def get_font(xml_obj, headers_):
# 使用xpath与re获取字体加密数据包地址
font_div = xml_obj.xpath("//span/style/text()")[0]
font_url = re.findall("eot.*?(https:.*?.woff)", font_div)[0]
font_name = str(font_url).rsplit('/', 1)[1]
# 获取font文件进行本地保存
font_data = requests.get(font_url, headers_).content
with open(f'{font_name}', 'wb') as f:
f.write(font_data)
# 加载字体文件
font_data = TTFont(f'{font_name}')
# font_data.saveXML('字体.xml')
font_doct01 = font_data.getBestCmap()
font_doct02 = {
'period': '.',
'zero': '0',
'one': '1',
'two': '2',
'three': '3',
'four': '4',
'five': '5',
'six': '6',
'seven': '7',
'eight': '8',
'nine': '9'
}
for i in font_doct01:
font_doct01[i] = font_doct02[font_doct01[i]]
return font_doct01
def jiemi(miwen_list, font_list):
yuepiao = []
for i in miwen_list:
num = ''
mw_list=re.findall('&#(.*?);', i)
for j in mw_list:
num += font_list[int(j)]
yuepiao.append(int(num))
return yuepiao
if __name__ == '__main__':
# 设置我们通用的请求头，避免被反爬拦截
headers_ = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
'referer': 'https://www.qidian.com/rank/',
'cookie': 'e1=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; e2=%7B%22pid%22%3A%22qd_P_rank_19%22%2C%22eid%22%3A%22%22%2C%22l1%22%3A5%7D; _yep_uuid=6a2ad124-678f-04d3-7195-2e4e9f5c470e; _gid=GA1.2.501012674.1638335311; newstatisticUUID=1638335311_1217304635; _csrfToken=adBfL5dzru0KuzVgLJpxtsE8zQcfgZT8MzKf0aMs; e2=; e1=%7B%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A16%22%2C%22l1%22%3A3%7D; _ga_FZMMH98S83=GS1.1.1638362844.2.1.1638362855.0; _ga_PFYW0QLV3P=GS1.1.1638362844.2.1.1638362855.0; _ga=GA1.2.2025243050.1638335311; _gat_gtag_UA_199934072_2=1'
}
url_ = 'https://www.qidian.com/rank/yuepiao/'
# 请求网页源代码
str_data = requests.get(url_, headers=headers_).text
# 使用xpath解析书名
xml_obj = etree.HTML(str_data)
# print(get_book_name(
# xml_obj)) # ['从红月开始', '人族镇守使', '全属性武道', '深空彼岸', '我的云养女友', '我用闲书成圣人', '明克街13号', '星门', '东晋北府一丘八', '夜的命名术', '这个人仙太过正经', '顶级气运，悄悄修炼千年', '不科学御兽', '我的治愈系游戏', '这游戏也太真实了', '长夜余火', '赤心巡天', '轮回乐园', '合道', '宇宙职业选手']
# print(get_yuepiao(
# str_data)) # ['𘢒𘢒𘢐𘢉𘢎', '𘢌𘢋𘢐𘢐', '𘢌𘢏𘢌𘢑', '𘢑𘢉𘢒𘢎', '𘢑𘢎𘢋𘢔', '𘢑𘢏𘢏𘢉', '𘢎𘢑𘢐𘢉', '𘢎𘢏𘢑𘢔', '𘢎𘢒𘢉𘢏', '𘢏𘢎𘢏𘢎', '𘢔𘢑𘢑𘢔', '𘢔𘢎𘢐𘢓', '𘢔𘢔𘢑𘢐', '𘢔𘢒𘢑𘢏', '𘢔𘢐𘢒𘢐', '𘢒𘢌𘢉𘢌', '𘢒𘢑𘢌𘢓', '𘢒𘢑𘢎𘢓', '𘢒𘢎𘢓𘢉', '𘢒𘢎𘢏𘢐']
# print(get_font(xml_obj, headers_))
# 书名列表
book_name_list = get_book_name(xml_obj)
# 月票列表
yuepiao_list = jiemi(get_yuepiao(str_data), get_font(xml_obj, headers_))
for i in range(len(book_name_list)):
print(f'{book_name_list[i]}:{yuepiao_list[i]}')
到此这篇关于python起点网月票榜字体反爬案例的文章就介绍到这了,更多相关python字体反爬内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞！
原文出处：https://blog.csdn.net/m0_46623754/article/details/121663055
下一篇: Pycharm安装PyQt5的详细教程
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临，小编为大家带来了一个利用Python编写的虎年烟花特效，堪称全网最绚烂，文中的示例代码简洁易懂，感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容，对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注，帮助大家更好的利用Matplotlib绘制图表，感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法，对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-03-09
- 这篇文章主要介绍了python自动化办公操作PPT的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2021-02-25
- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了Python绘制的爱心树与表白代码,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2021-04-06