一、确定目标网站

二、目标数据分析

2.1 查看目标数据

点击教材后，发现需要登录，如下图。

注册登录后查看，同时打开DevTools记录数据包，发现教材PDF下载链接，但无法直接下载，如下图。

网上搜索相关话题后发现可通过更改URL绕过该限制，经测试可行，如下图。

2.2 爬取思路

既然找到了实际下载链接，那么只需要再找到所有教材PDF的ID即可，有两种思路。

找到相关数据集请求包，直接拿到所有ID或者下载链接；
使用selenium逐个点击教材获取地址栏的文件ID，之后使用requests下载。

三、实际爬取

3.1 使用selenium爬取文件ID

由于未登录看不到教材内容，所以我测试时均登录了账号，但是经过反复抓包均未看到相关数据集请求（后证实和缓存有关，尽管我在DevTools中设置了禁用缓存）。所以先采用selenium爬取文件ID的方法。

由于科目众多，所以我们需要使用循环嵌套的形式遍历所有教材，结构如下图所示。

经过上面4层嵌套后，再获取当前页面下教材列表，逐个点击获取教材ID即可。
因为每次点击都会打开新标签页，我们可以使用selenium.webdriver.switch_to.window(window_handle)的方法切换到新标签页，然后调用close()方法后再切换回去。这样就避免了大量标签页带来的内存消耗。
由于后面有更好的方法，这里就不放代码了。

3.2 使用requests获取所有教材PDF

在经历了DevTools源代码搜索，JS断点调试，Burpsuite代理逐项通过请求等方法尝试找出数据集请求均未果后，我在无痕模式中重新打开教材链接，意味发现了数据接口相关请求，真可谓踏破铁鞋无觅处，得来全不费功夫。如下图所示。

xhr请求有三个，链接不完全相同，那么肯定有请求可以获取到这三个文件的的地址，经搜索可以定位到。如下图所示。

至此，我们便得到了所有需要的信息，按照以下步骤编写代码即可。

访问入口文件获取数据请求API；
访问数据请求API获取所有文件信息；
构造教材PDF链接进行下载。

"""
@filename=main.py
@version=0.1.0.20231212
@author=amnotgcs
@createTime=20231212 19:01
@lastModifiedTime=20231212 20:43
@description=爬取国家中小学智慧教育平台所有教材PDF
@target.url=https://basic.smartedu.cn/tchMaterial
"""


import json

import requests
import pandas as pd


# 数据文件获取链接
ENTRY_URL = 'https://s-file-2.ykt.cbern.com.cn/zxx/ndrs/resources/tch_material/version/data_version.json'
HEADER = {
    'Accept': 'application/json, text/plain, */*',
    'Accept-Encoding': 'gzip, deflate, br',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:121.0) Gecko/20100101 Firefox/121.0',
    'Referer': 'https://basic.smartedu.cn/',
}
TIMEOUT = 3
JSON_FILENAME = 'books_info.json'  # JSON结果文件名
XLSX_FILENAME = 'books_info.xlsx'  # XLSX结果文件名


def get_data_json_url() -> list[str]:
    """访问数据文件获取链接，获取数据URL"""
    data_json_url = requests.get(ENTRY_URL, headers=HEADER, timeout=TIMEOUT).json()
    if result := data_json_url.get('urls'):
        return result.split(',')
    return []


def get_books_info(url: str) -> list[dict]:
    "访问数据URL，获取所有图书的信息"
    response = requests.get(url, headers=HEADER, timeout=TIMEOUT)
    if response.status_code == 200:
        return response.json()
    return []
    

def retrieve_all_books() -> list[dict]:
    """获取平台所有教材PDF"""
    books = []
    for data_json_url in get_data_json_url():
        books.extend(get_books_info(data_json_url))
    for book in books:
        book_id = book.get('id')
        book_url = f'https://r3-ndr.ykt.cbern.com.cn/edu_product/esp/assets/{book_id}.pkg/pdf.pdf'
        book['pdf_url'] = book_url
        # TODO(amnotgcs): 此处未实际下载pdf，根据个人需要进行下载即可。
        # 样例代码：
        # pdf = requests.get(book_url, headers=HEADER)
        # with open(f'{book_id}.pdf', 'wb') as file:
        #     file.write(pdf.content)
        print('正在下载：', book_url)
    return books


def save_books_info(books: list[dict]) -> None:
    """将PDF信息保存到文件"""
    # 提取需要的信息
    book_info_for_save = []
    for book in books:
        book_info = {}
        for item in ['id', 'title', 'language', 'resource_type_code', 'create_time', 'update_time', 'pdf_url']:
            book_info[item] = book.get(item)
        for item in ['resolution', 'size', 'width']:
            book_info[item] = book.get('custom_properties').get(item)
        book_info['tag'] = '/'.join([tag.get('tag_name') for tag in book.get('tag_list')])
        book_info_for_save.append(book_info)
    # 保存为JSON格式
    with open(JSON_FILENAME, 'wt', encoding='UTF-8') as file:
        json.dump(book_info_for_save, file, ensure_ascii=False, indent=4)
    # 保存为xlsx格式
    book_info_df = pd.read_json(JSON_FILENAME)
    # 去除时区信息以便存为xlsx
    book_info_df['create_time'] = book_info_df['create_time'].dt.tz_localize(None)
    book_info_df['update_time'] = book_info_df['update_time'].dt.tz_localize(None)
    book_info_df.to_excel(XLSX_FILENAME)


if __name__ == '__main__':
    books = retrieve_all_books()
    save_books_info(books)

【说明】因为headers中'Accept-Encoding': 'gzip, deflate, br'指明了可以使用br压缩算法，所以需要pip安装brotli库，否则可能会有乱码问题。如果不想安装，去除headers中的br亦可。