猿人部落 › 主页 › 资讯 › 查看内容

有道翻译最新版爬虫，解析反爬虫了，不要再问{"errorCode":50}错误怎么办了

2018-3-15 10:46 发布者: admin 评论 18 查看 2301

昨天（2018年3月14日晚）刚写的有道翻译爬虫，奇怪出炉，拿到就可以用了着实有道翻译的反爬虫就是sign的md5加密详细的js代码如下：var n = b.val(), r = "" + (

昨天（2018年3月14日晚）刚写的有道翻译爬虫，奇怪出炉，拿到就可以用了

着实有道翻译的反爬虫就是sign的md5加密

详细的js代码如下：

var n = b.val(),
r = "" + ((new Date).getTime() + parseInt(10 * Math.random(), 10)),
o = u.md5(S + n + r + D),
a = n.length;
if (L(), w.text(a), a > 5e3) {
var l = n;
n = l.substr(0, 5e3), o = u.md5(S + n + r + D);
var c = l.substr(5e3);
c = (c = c.trim()).substr(0, 3), u("#inputTargetError").text("有道翻译字数限定为5000字，“" + c + "”及厥反面没有被翻译!").show(), w.addClass("fonts__overed")
} else w.removeClass("fonts__overed"), u("#inputTargetError").hide();
f.isWeb(n) ? i() : s({
i: n,
from: _,
to: C,
smartresult: "dict",
client: S,
salt: r,
sign: o,
doctype: "json",
version: "2.1",
keyfrom: "fanyi.web",
action: e || "FY_BY_DEFAULT",
typoResult: !1

使用Python实现salt和sign参数的获取代码：

def get_md(self, value):
'''md5加密'''
m = hashlib.md5()
# m.update(value)
m.update(value.encode('utf-8'))
return m.hexdigest()
def get_salt(self):
'''根据当前时间戳获取salt参数'''
s = int(time.time() * 1000) + random.randint(0, 10)
return str(s)
def get_sign(self):
'''使用md5函数和其他参数，得到sign参数'''
s = "fanyideskweb" + self.msg + self.salt + self.D
return self.get_md(s)

得到关键参数，data就有了：

data = {
'i': self.msg,
'from': 'AUTO',
'to': 'AUTO',
'smartresult': 'dict',
'client': 'fanyideskweb',
'salt': self.salt,
'sign': self.sign,
'doctype': 'json',
'version': '2.1',
'keyfrom': 'fanyi.web',
'action': 'FY_BY_CL1CKBUTTON',
'typoResult': 'true'
}

末了还要加上headers才行，然而我颠末探索，发现headers内里有几个参数是必须的，其他的好坏必须的：

headers = {
# 'Accept': 'application/json, text/javascript, */*; q=0.01',
# 'Accept-Encoding': 'gzip, deflate',
# 'Accept-Language': 'zh-CN,zh;q=0.9,mt;q=0.8',
# 'Connection': 'keep-alive',
# 'Content-Length': '240',
# 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
'Cookie': 'OUTFOX_SEARCH_USER_ID=-2022895048@10.168.8.76;',
# 'Host': 'fanyi.youdao.com',
# 'Origin': 'http://fanyi.youdao.com',
'Referer': 'http://fanyi.youdao.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; rv:51.0) Gecko/20100101 Firefox/51.0',
# 'X-Requested-With': 'XMLHttpRequest'
}

算上这些，就可以去哀求了，看看运行的结果，直接翻译，妥妥的

登录/注册后可看大图

检察完备代码必要复兴，我隐蔽了爬虫的分析过程和完备代码请检察http://www.tendcode.com/article/youdao-spider/

煎蛋网的爬虫在这里煎蛋网妹子图爬虫
趁便说一下，各人爬别人的网站，假如不是特别的缘故起因，只管设置延时时间，不要过于频仍的爬取