爬取python网站下载地址,并下载最新文件

发布时间 2023-11-18 19:00:46作者: 枫飘过的天1

1.下载https://www.python.org/ftp/python/最新版本python文件
   一个下载网站,查看最新的,然后下载对应版本文件(如,列出python版本,并下载 https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tar.xz) 。

  代码如下:

import requests
from lxml import etree
import time
import random
from fake_useragent import UserAgent
url = 'https://www.python.org/ftp/python/'
headers = {'User-Agent': UserAgent().random}
html = requests.get(url=url, headers=headers).content.decode('utf-8', 'ignore')
parse = etree.HTML(html)
table_list = parse.xpath('//a/text()')
for i in table_list:
print(i)

####打印如下:
..
2.0/
2.0.1/
2.1/
2.1.1/
2.1.2/
2.1.3/