头条
爬虫-今日头条我的收藏-增量式导入到mongodb（三）
背景： 续接前文，当我们有了原始数据之后，自然会想如何利用这些数据。这些文件数据都是json格式，打开一个文本文件眼睛都要看花。所以想把这些数据导入到对应的数据库中，市面上几乎所有数据库都支持json格式存储。 随着时间的推移，用户不断有新的收藏，这样就不断产生新的收藏文件。需要不断的导入到数据库中 ......
爬虫-今日头条我的收藏-增量式（二）
背景： 能够全量爬取今日头条我的收藏内容之后，新收藏的内容依然希望能够保存到新文件中。 思路： 每次都全量爬取太耗时，增量式爬取节省时间。 取消收藏的影响：爬虫旧文件用户收藏的链接有可能被取消收藏。所以在断点位置的判断上考虑取连续100条的我的收藏id作为判断基准，这样即便用户偶尔取消收藏几条，依然 ......
今日头条我的收藏爬虫
背景： 今日头题我的收藏搜索功能很弱，收藏的文章在pc/手机上总是如法全部搜索出来。也给头条反馈了很多次，总是不搭理。实在忍受不了这种敷衍，决定自己写一个爬虫。 思路： 先解决有无问题，做一个最基础版本。 、 头条我的收藏是是get请求，返回的是json格式数据，直接使用requests发送请求到头 ......
今日头条
import execjs import requests url = "https://www.toutiao.com/api/pc/list/feed?offset=0&channel_id=94349549395&max_behot_time=0&category=pc_profile_cha ......
【爬虫实战】用python爬今日头条热榜TOP50榜单！
目录一、爬取目标二、爬取结果三、代码讲解四、技术总结五、演示视频六、附完整源码 一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 今天分享一期爬虫案例，爬取的目标是：今日头条热榜的榜单数据。 打开今日头条 首页，在页面右侧会看到头条热榜，如下： 爬取以上6个关键字段，含： 热榜排名, ......
乐观锁 与 悲观锁【黑马头条】
一、概念介绍 乐观锁 每次去拿数据的时候都认为别人不会修改，所以不会上锁，但是在更新的时候会判断一下在此期间别人有没有去更新这个数据，可以使用版本号等机制。 悲观锁 每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁。 二、乐观锁使用 1、给实体类变量加 @Version 注解 /* ......
黑马头条【技术架构】
用户层 Web Android IOS H5 CDN CDN Node1 CDN 管理中心 CDN Node2 HTML CSS / JS HTML CSS / JS Json Video Json Video LB Nginx + LVS 视图层 Weex + Vue Vue + Echarts ......
延迟任务【黑马头条 - day05】
一、相关介绍 定时任务：由固定周期的，有明确的触发时间 延迟任务：没有固定的开始时间，它常常是由一个事件触发的，而在这个事件触发之后的一段时间内触发另一个事件，任务可以立即执行，也可以延迟。 二、延迟任务的应用场景 三、技术对比 【DelayQueue】基于JVM JDK 自带 DelayQueue ......
敏感词 - 过滤 - DFA算法【黑马头条】
方案 说明 数据库模糊查询 效率太低 String.indexOf(" ")查询 数据库量大的话也是比较慢 全文检索 分词再分配 DFA算法 确定有穷自动机（一种数据结构） DFS算法实现原理 一、DFA算法介绍 DFA全程为：Deterministic Finite Automaton，即确定有穷 ......
JS逆向实战20——某头条jsvm逆向
# 声明 本文章中所有内容仅供学习交流，抓包内容、敏感网址、数据接口均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关，若有侵权，请联系我立即删除！ # 网站 > 目标网站：aHR0cHM6Ly93d3cudG91dGlhby5jb20v > 数据接口：aHR0cHM6L ......
从业务角度如何进行分库、分表【黑马头条】
分表的好处是什么？ 表的拆分——垂直分表 垂直分表：将一个表的字段分散到多个表中，每个表存储其中一部分字段。 优势 1. 减少IO争抢，减少锁表的几率，查看文章概述与文章详情互不影响 2. 充分发挥高频数据的操作效率，对文章概述数据操作的高效率不会被操作文章详情数据的低效率所拖累。 分表的原则有哪些 ......
网关认证过滤器 - 校验JWT【黑马头条】
一、Filter package com.heima.app.gateway.filter; import com.heima.app.gateway.util.JwtUtil; import io.jsonwebtoken.Claims; import lombok.extern.slf4j.Sl ......
网关搭建【黑马头条】
一、导入依赖 <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter-gateway</artifactId> </dependency> <d ......
头条搜索精选 参数分析
本文所有教程及源码、软件仅为技术研究。不涉及计算机信息系统功能的删除、修改、增加、干扰，更不会影响计算机信息系统的正常运行。不得将代码用于非法用途，如侵立删！ **** ### 头条搜索精选 参数分析 > `环境` > > - win10 > - Python3.9 > - Chrome ### 抓 ......
芯片国产替代_逻辑石渔_2023年04月15日_微头条-今日头条
# 芯片国产替代_逻辑石渔_2023年04月15日_微头条-今日头条 * [https://www.toutiao.com/w/1763203960560653/?app=×tamp=1681525210&use_new_style=1&tt_from=system&utm_source= ......