设为首页 收藏本站
开启辅助访问 快捷导航
菜单
猿人部落 › 主页 › 资讯 › 查看内容

glidedsky 字体反爬虫

2019-7-25 17:32 发布者: admin 评论 0 查看 1433
# -*-coding:utf-8 -*-# Author : Jermey1994# Develop_Time : 2019/7/24 20:33# File_Name : font_scr.PY# Develop_Tool : PyCharmimport reimport timefrom fontTools.ttLib import TTFontimport requestsfrom bs4

  1. # -*-coding:utf-8 -*-
  2. # Author : Jermey1994
  3. # Develop_Time : 2019/7/24 20:33
  4. # File_Name : font_scr.PY
  5. # Develop_Tool : PyCharm

  7. import re
  8. import time
  9. from fontTools.ttLib import TTFont

  11. import requests
  12. from bs4 import BeautifulSoup
  13. from fake_useragent import UserAgent

  15. class Sky_Main(object):
  16.     def __init__(self):
  17.         """
  18.         初始化总和
  19.         headers
  20.         """
  21.         self.all_num = 0
  22.         self.header = {'user-agent':UserAgent().random,
  23.                        'Cookie': ''
  24.                        }


  27.     def get_html(self,url):
  28.         """
  29.         获取当前爬取的url的html源码
  30.         :param url: 爬取的url
  31.         :return: 返回html源码
  32.         """
  33.         time.sleep(2.5)
  34.         response = requests.get(url, headers=self.header).text
  35.         soup = BeautifulSoup(response,'lxml')
  36.         return soup


  39.     def soup_html(self,soup):
  40.         """
  41.         清算出源码数据的数组
  42.         :param response:
  43.         :return: 返回清算好的数组
  44.         """
  45.         new_list = list()
  46.         nums = soup.find_all('div',class_='col-md-1')
  47.         for temp in nums :
  48.             new_list.append(re.findall(r'(\d\d\d|\d\d)',str(temp))[0])
  49.         return new_list


  52.     def get_font_url(self,soup):
  53.         """
  54.         并把源码生存到本地,方便分析字体反爬
  55.         使用正则表达式打扫无用的字符串,获取字体地点
  56.         :param response: 传入get_html()源码
  57.         :return: 返回字体的下载地点
  58.         """
  59.         font_url = re.findall(r'url\("(.*?)"\)', soup.prettify())
  60.         return font_url[0]


  63.     def download_font(self,font_url):
  64.         """
  65.         下载字体生存到当前文件夹名为 font.woff 的字体文件
  66.         :param font_url: self.get_font_url()
  67.         :return: None
  68.         """
  69.         response = requests.get(font_url).content
  70.         with open('font.woff','wb') as f :
  71.             f.write(response)


  74.     def get_cmap(self,font_nums):
  75.         """
  76.         分析字体所映射的值
  77.         :param font_nums: 当前页面获取到的数组
  78.         :return:
  79.         """
  80.         num_str = ''
  81.         # 读取字体
  82.         font = TTFont("font.woff")

  84.         # 生存成xml文件 酿成python可读,举行分析
  85.         #font.saveXML('font.xml')

  87.         # 读取映射表
  88.         best_cmap = font['cmap'].getBestCmap()
  89.         best_glpy = font['cmap'].tables[2].ttFont.getReverseGlyphMap()
  90.         temp_cmap = dict()
  91.         for key, value in best_cmap.items():
  92.             temp_cmap[chr(key)] = value

  94.         for ns in font_nums :
  95.             for n in ns :
  96.                 num_str += str((best_glpy[temp_cmap[n]] - 2))
  97.             self.all_num += int(num_str)
  98.             num_str = ''


  101.     def start_main(self,page):
  102.         """
  103.         传入page后,实行内部函数开始分析数据
  104.         :param page: 传入页数
  105.         """
  106.         for pg in range(1,page + 1) :
  107.             print(pg)
  108.             url = 'http://glidedsky.com/level/web/crawler-font-puzzle-1?page=' + str(pg)
  109.             soup = self.get_html(url)
  110.             font_url = self.get_font_url(soup)
  111.             font_nums = self.soup_html(soup)
  112.             self.download_font(font_url)
  113.             self.get_cmap(font_nums)

  115.         print('答案是 : %d' % self.all_num)


  118. if __name__ == '__main__' :
  119.     start = Sky_Main()
  120.     start.start_main(1000)

路过
雷人
握手
鲜花
鸡蛋
收藏 邀请
上一篇：python爬图片的爬虫(新手代码)下一篇：报错

相关阅读

admin
管理员
  • 关注: 0
  • 粉丝: 0
  • 文章: 811

楼主最新发表

阅读更多文章

一周热门

头条攻略!

日排行榜

相关分类

联系我们

微信：var186

邮箱：772441382@qq.com

关于我们
  • 联系客服
  • 客服微信

QQ| 猿人部落 ( A20190523-0239 )

Powered by Discuz! X3.4 © 2001-2013 Comsenz Inc. GMT+8, 2024-11-23 05:50 , Processed in 0.051031 second(s), 24 queries .