爬虫 手段 常见
pathon爬虫实战——爬取某网站的多页番剧内容
（本博客只为技术分学习，无其他用途） 1.准备 涉及的第三方库如下： 2.网页分析 2.1 检验网页 1. 运行浏览器，打开网页，按快捷键F12打开开发者工具，F5刷新页面 2. 在右侧点击Network，打开browser?sort=rank&page=1 文件，可以看到各种信息，查看表头 3. ......
深度学习-Pytorch常见的数据类型
深度学习-Pytorch常见的数据类型 数据类型认识 首先，python与PyTorch中的数据类型 | python | PyTorch | | : : | : : | | int | IntTensor | | float | FloatTensor | | int array | IntTen ......
Python常见问题总结
对于长期深耕在python爬虫的程序员来说，如何快速解决代码中的问题它是作为合格的程序员应该具备的基本素质。下面将我总结整理出有关python的一些常见问题记录下来方便后期查证。 Python python 没有多态，而是鸭子类型 多继承，没有接口，可通过语法糖实现接口的作用 lambda中只能有一 ......
MySQL 主从延迟的常见原因及解决方法
承蒙大家的支持，刚上市的《MySQL实战》已经跃居京东自营数据库图书热卖榜第 1 名，收到的反馈也普遍不错。对该书感兴趣的童鞋可通过右边的链接购买。目前，京东自营有活动，只需 5 折。 主从延迟作为 MySQL 的痛点已经存在很多年了，以至于大家都有一种错觉：有 MySQL 复制的地方就有主从延迟。 ......
项目讲解之常见安全漏洞
本文是从开源项目 RuoYi 的提交记录文字描述中根据关键字漏洞|安全|阻止筛选而来。旨在为大家介绍日常项目开发中需要注意的一些安全问题以及如何解决。 项目安全是每个开发人员都需要重点关注的问题。如果项目漏洞太多,很容易遭受黑客攻击与用户信息泄露的风险。本文将结合3个典型案例，解释常见的安全漏洞及修 ......
Python 异步: 常见反对意见（24）
动动发财的小手，点个赞吧！ Asyncio 和协程可能不是解决程序中所有并发问题的最佳解决方案。话虽这么说，但也可能存在一些误解，使您无法充分利用 Python 中 asyncio 的功能。 在本节中，我们回顾了开发人员在考虑使用Asyncio时看到的一些常见异议。 1. 全局解释器锁（GIL）怎么 ......
记一次python写爬虫爬取学校官网的文章
有一位老师想要把官网上有关数字化的文章全部下载下来，于是找到我，使用python来达到目的 首先先查看了文章的网址 获取了网页的源代码发现一个问题，源代码里面没有url，这里的话就需要用到抓包了，因为很明显这里显示的内容是进行了一个请求，所以只能通过抓包先拿到请求的url从而获得每一篇文章对应的ur ......
【架构与设计】常见微服务分层架构的区别和落地实践
软件工程的方方面面都遵循一个最基本的道理：没有银弹，架构分层模型更是如此，每一种都有各自优缺点，所以请根据不同的业务场景，并遵循简单、可演进这两个重要的架构原则选择合适的架构分层模型即可。 ......
常见的免费可用的 API 大全整理
AI 人脸检测：快速检测图片中的人脸并返回人脸位置，输出人脸关键点坐标，支持识别多张人脸。 AI 绘画：通过AI 生成图片，包括图生文、文生图等。 静态活体检测：静态活体检测主要用于针对用户上传图像，返回该图像中的人脸是否为真人；基于图片中人像的破绽（摩尔纹、成像畸形等），判断目标是否为活体，有效防 ......
Python认识爬虫与反爬虫
爬虫：通过计算机去获取信息，以节约人力成本，不节约的就不需要用了。 反爬虫的最终：区别计算机和人，从而达到，排除计算机的访问，允许人的访问。 最终结论：爬虫与反爬虫都是有尽头的。 爬虫的尽头就是极度模拟用户（自动化）。 反爬虫的尽头就是机器无法识别而人类可以识别的验证码。 所以，省事的话，不如只学一 ......
一种通过编码的反爬虫机制
遇到一个反爬虫机制，该网页为gbk编码网页，但是请求参数中，部分请求使用gbk编码，部分请求使用utf8编码，还设置了一些不进行编码的安全字符，在爬取的过程中形成了阻碍。 提示：在认为参数设置正常，又无法正确爬取数据的情况下，通过response.requests.headers和esponse.r ......
Oracle Apex学习教程：PLSQL常见的类型格式转换
Oracle APEX中文社区|Oracle APEX资源|Oracle APEX学习|EBS开发|EBS INTERFACE|Oracle EBS开发|Oracle数据库开发|EBS API| https://www.sqlu.cn/116.html PL/SQL类型格式转换 在oracle ......
docker/k8s常见错误处理
启动docker失败，报错了 启动docker失败，报错了。Failed to load environment files: No such file or directory [root@mcwk8s05 ~]# systemctl start docker Job for docker.ser ......
云原生的七种常见架构模式
服务化架构模式 服务化架构是云时代构建云原生应用的标准架构模式，要求以应用模块为颗粒度划分一个软件，以接口契约（例如 IDL）定义彼此业务关系，以标准协议（http、gRPC 等）确保彼此的互联互通，结合 DDD（领域模型驱动）、TDD（测试驱动开发）、容器化部署提升每个接口的代码质量和迭代速度。服 ......
2023-04-17 算法面试中常见的树和递归问题
二叉树和递归 0 LeetCode297 二叉树的序列化和反序列化 序列化是将一个数据结构或者对象转换为连续的比特位的操作，进而可以将转换后的数据存储在一个文件或者内存中，同时也可以通过网络传输到另一个计算机环境，采取相反方式重构得到原数据。 请设计一个算法来实现二叉树的序列化与反序列化。这里不限定 ......
常用API(爬虫，正则表达式)
常用API（爬虫，正则表达式） 爬虫 本地爬虫：Pattern：表示正则表达式； Matches：文本匹配器，作用按照正则表达式的规则读取字符串，从头开始读取，在大串中去找符合匹配规则的子串； find：1.拿着文本匹配器从头开始读取，寻找是否有满足规则的子串；如果没有，方法返回fals ......
python爬虫scrapy框架的使用
总结 scrapy startproject name scrapy genspider baidu http://www.baidu.com scrapy crawl baidu scrapy项目创建 scrapy startproject scrapy_baidu_091 创建爬虫文件 在spi ......
一些常见的测试工具
以下是一些常见的测试工具： Selenium：用于自动化Web应用程序的测试工具，支持多种编程语言。 Appium：用于自动化移动应用程序的测试工具，支持iOS和Android平台。 JMeter：用于功能、性能和压力测试的Java应用程序。 Postman：用于API测试和文档编写的工具，支持多种 ......
Android 中几种常见的key
0. 背景 我们在开发过程中，经常会提到这key，那key 的，感觉好神秘，好高端一样，其实不然，只不过是用于加解密而言，并没有什么神秘的，我们来看看有哪些key？到底是干啥的？ 1. RPMB key 1.1 RPMB 是什么 RPMB（Replay Protected Memory Block） ......
常见的哈希算法和应用
哈希算法经常会被用到，比如我们Go里面的map，Java的HashMap，目前最流行的缓存Redis都大量用到了哈希算法。它们支持把很多类型的数据进行哈希计算，我们实际使用的时候并不用考虑哈希算法的实现。而其实不同的数据类型，所使用到的哈希算法并不一样。 DJB 下面是C语言实现。初始值是5381， ......
爬取的数据存mysql中、加代理，cookie，header，加入selenium、布隆过滤器、scrapy-redis实现分布式爬虫
上节回顾 # 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 - ......
爬虫介绍、request模块、自动登录、携带cookie的两种方式、requests.session的使用、响应Response对象
今日内容 爬虫介绍 request模块介绍 request发送get请求 request携带参数 url编码解码 携带请求头 发送post请求，携带数据 自动登录，携带cookie的两种方式 requests.session的使用 补充post请求携带数据编码格式 响应Response对象 编码问题 ......
常见漏洞描述及修复方式
弱口令 漏洞描述 由于系统中存在有弱口令，导致攻击者通过弱口令可轻松登录系统中，从而进行下一步的攻击，如上传webshell，获取敏感数据！ 另外攻击者利用弱口令登录网站管理后台，可任意增删改等操作，从而造成负面影响！ 整改建议 1、建议强制用户首次登录时修改默认口令，或是使用用户自定义初始密码的策 ......
python中列表常见的操作方法
一、添加元素的方法 1.append()方法 # l.append() 用于在列表末尾添加新的对象, 返回值：该方法无返回值，但是会修改原来的列表 l = [1, 2, 3, 4, 5] l1 = [6, 7, 8] l2 = {"age": "12"} l3 = '年后,nihao' l4 = ( ......
【总结】盘点程序员必知必会的常见数据结构和算法
数据结构和算法，是软件组件的基本组成结构，是解决很多疑难编程问题的强有力的法宝，也是程序员装备自身编程技能的一件利器。 ......
关于Python爬虫使用技巧
首先，Python是一种非常流行的编程语言，拥有广泛的应用领域，例如数据分析、人工智能、Web开发等。如果您是初学者，可以开始学习基础的语法和概念，例如变量、数据类型、循环、函数等等。许多在线资源可以提供学习资料。 其次，Python拥有大量的第三方库和框架，可以帮助您提高开发效率并处理各种任务，例 ......
【能力提升】SQL Server常见问题介绍及快速解决建议
本文旨在帮助SQL Server数据库的使用人员了解常见的问题，及快速解决这些问题。这些问题是数据库的常规管理问题，对于很多对数据库没有深入了解的朋友提供一个大概的常见问题框架。 ......