爬虫request网站
如何自己搭建Scrapy爬虫框架
当你学了一段时间爬虫后，就会知道各种功能太多而且麻烦。还不如自己整理个框架方便的多。因此，从开始写爬虫程序开始，就会慢慢的接触到一些有关爬虫的框架、效率提升而且扩展也很方便。接下来我将会以Scrapy爬虫框架将我的学习过程记录下供大家参考指正。 一、安装 $ pip install scrapy 二 ......
Python爬虫完整代码拿走就用
对于新手做Python爬虫来说是有点难处的，前期练习的时候可以直接套用模板，这样省时省力还很方便。 使用Python爬取某网站的相关数据，并保存到同目录下Excel。 直接上代码： import re import urllib.error import urllib.request import ......
几步完成Python爬虫采集附源码
对于长期做爬虫行业的程序员我来说，现在随便编写一个爬虫程序也只是分分钟的事情，这次我编辑一个有关图文采集的爬虫，从试错到下载保存等一些列重点全部都写入下面的文章中希望大家避坑。 这里应用self.log简单的做了一下运行日志的处理和记录！ 几个关键点： 1、常规操作，访问出错重试 这里仅仅是简单的写 ......
爬虫
今日内容 0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSou ......
爬虫4
今日内容 0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(ex ......
爬虫5
今日内容 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
安装window虚拟机，搭建网站
1.配置虚拟机 稍后安装操作系统， 自定义硬件：删除三项； 选好路径，完成硬件配置 2.安装window虚拟机系统 选择最后一个，比较全，并且有图形化界面 自定义安装，等待安装 等待完成安装的操作系统,安装完后重启系统 设置密码：123.com 3.安装完成配置电脑 安装VMware tools，鼠 ......
CentOS Linux 7 服务器部署基于DotNet 6 的 ASP.NET Core 网站
概述 ASP.NET Core 支持跨平台部署，最近利用业务需求的契机，尝试了下在 CentOS 7 平台上搭建基于 .NET 6 的 ASP.NET Core 6 网站。这里对主要过程做个记录。 安装 .net 6 SDK 安装 .NET SDK 之前，先运行以下命令，将 Microsoft 包签 ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
request
requests库 requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 安装Requests库 命令行安装:pip install request ......
爬虫selenium模块
selenium基本使用 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 可以直接用代码模拟真实的浏览器操作，每一步的点击 输入等 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
SpringMVC：在尝试POST请求调用重定向时抛出415不支持的媒体类型(SpringMVC : Throws 415 Unsupported Media Type while attempting POST request call for redirection)
浏览器响应如下： 服务器拒绝此请求，因为请求实体的格式不受所请求方法所请求资源的支持。 而不是重定向到主页（home.jsp） welcome.jsp文件： <form method ="POST" action = "<c:url value='/login'/>" > <input id="na ......
有用的 有趣的网站 网址 website site
关于中文字符的各种编码，初等数学的几何图形等等， https://www.haomeili.net/Code/DetailCodes?wd=%E8%B7%AF%E5%BE%84 国内科研及新闻 成果网站 https://news.sciencenet.cn/sbhtmlnews/2022/11/37 ......
Electron打包在线客服系统网站教程-实现客服系统PC客户端
唯一客服系统PC客户端，利用Electron打包实现 可以避免浏览器被误关闭，支持缩小在右下角系统托盘中，支持通知栏和声音访客新消息提醒 一个Electron应用程序的package.json文件。 { "name": "kefu-pc-client", "version": "1.0.0", "d ......
Scrapy爬虫之反人类的反爬虫手段
最近一直在编写一个爬虫项目，同时也通过爬虫爬取了一些网站数据（正规公开数据），我们都知道，爬虫和反爬虫一直都是相辅相成的，爬虫程序员想破解反爬虫的技术，反爬虫的技术员则希望通过技术手段实现有效的反爬虫方式。 由于在这阶段进行的爬虫学习中，经常中招，所以今天就简单的总结一下反爬虫的方式。 一、BAN ......
如何设计一个网页爬虫
作为长期深耕在爬虫行业的程序猿来说，对于设计一个网页爬虫想必很简单，下面就是一些有关网页爬虫设计的一些思路，可以过来看一看。 第一步：简述用例与约束条件 把所有需要的东西聚集在一起，审视问题。不停的提问，以至于我们可以明确使用场景和约束。讨论假设。 我们将在没有面试官明确说明问题的情况下，自己定义一 ......
一个小网站的云原生实践
前言 大家好，今天聊的这个小网站就是我自建的 linkedkeeper.com，它在2013年上线，到现在（2023年）也走过了10年的历程，从最开始部署的一个 war 到现在的 Serverless 部署，着实感受到了互联网技术的发展和变化，尤其是近年来的云原生技术，确实有一种变革的味道，我自己的 ......
【开源】最近写了一个简单的网址导航网站
前言 随着团队的成长，要管理的项目或使用的内部系统越来越多，很多内部系统都没有域名，使用IP+端口，很难记。 为了解决这个痛点，我抽空写了个导航网站~ 目前用下来效果还不错，可以基本完美的解决这个问题。 项目名称是 SiteDirectory ，代码在 Github 开源了: https://git ......
腾讯云对象存储 COS搭建个人网站
腾讯云对象存储 COS搭建个人网站，简单易操作，方便快捷搭建个人博客网站
只需要将你的网站资源上传即可，然后设置上你的自定义 CDN 加速域名，一个个人网站就上线啦！当然，你也可以不用设置自定义 CDN 加速域名，不设置访问的域名长这样：<名称>-1256086170.cos.ap-nanjing.... ......
网络爬虫流程总结
网络爬虫的大体流程其实就是解析网页，爬取网页，保存数据。三个方法，就完成了对网页的爬取，并不是很困难。以下是自己对流程的一些理解和总结，如有错误，欢迎指正。 一、解析网页，获取网页源代码 首先，我们要了解我们要爬取的网页，以豆瓣为例，我们要了解模拟浏览器头部信息，来伪装成浏览器。以及爬取的内容是什么 ......
requests模块
爬虫是什么？；爬虫就是程序 >从互联网中，各个网站上，爬取数据【前提是：你能浏览的页面才能爬】，做数据清洗，保存到数据库的过程。 爬虫本质：模拟方式发送http请求、然后获取数据、再做数据清洗、最后保存到数据库 爬虫的重点：如何发送http请求？如何解析数据？ 本篇爬虫知识主要包括(不会一次性写完， ......
总结一下搭建个人网站《曼云古籍在线识别》的完整流程
继2年前开发出一个标注工具PaddleOCRLabel之后，我就开始炼丹之旅，全面all in人工智能，历时一年，终于炼成了第一颗“丹”——针对于古籍的ocr识别模型。经过400万图片的验证，目前对四库全书版的古籍识别度较高，大约是99.8%。 以下链接是实际效果：https://www.ocr66 ......
夭寿啦！我的网站被攻击了了735200次还没崩
记得有一个看到鱼皮的网站被攻击，那时候我只是一个小小号，还在调侃，没想到我居然也有那么一天！ 突袭 一个风和日丽中午，我正在和同事吃饭，一个内存oom，我的小破站崩溃了。 虽然天天被攻击吧，给我干oom了多少是不是有点离谱？？ 一个小小博客，值得这么攻击吗？我觉得肯定是不值得的。肯定玩玩就放弃了。洗 ......
python requests 最牛攻略
Requests 是一个 Python 的一个第三方库，通过发送 HTTP 请求获取响应数据，一般应用于编写网络爬虫和接口测试等。 相比 urllib 库，它语法简单，更容易上手。 官方中文文档地址：Requests: 让 HTTP 服务人类 离线文档下载地址：Requests document d ......
记一次 .NET 某游戏网站 CPU爆高分析
一：背景 1. 讲故事 这段时间经常有朋友微信上问我这个真实案例分析连载怎么不往下续了，关注我的朋友应该知道，我近二个月在研究 SQLSERVER，也写了十多篇文章，为什么要研究这东西呢？ 是因为在 dump 中发现有不少的问题是 SQLSERVER 端产生的，比如：遗留事务，索引缺失 ，这让我产生 ......
ABAP 辨析ON INPUT|REQUEST|CHAIN-INPUT|CHAIN-REQUEST
1、逻辑流 在屏幕开发中，存在如下逻辑流： PBO（Process Before Output）：屏幕输出之前触发 PAI（Process After Input）：用户在屏幕中执行操作触发 POH（Process On Help-Request）：查看帮助信息触发（F1） POV（Process ......
为Jekyll静态网站添加PlantUML插件
前言 突然想起来要好好整理一下自己的博客空间，已经荒废很多年，如果再不捡起来，等到自己知识老化的时候再去写东西就没人看了。 使用Github Pages + Jekyll把博客发布为静态网站，给人感觉比较私密，似乎所有的控制权都抓在自己手里的样子。 但是作为一个技术博客，如果写东西没有PlantUM ......
不用Blazor WebAssembly，开发在浏览器端编译和运行C#代码的网站
本文中，我将会为大家分享一个如何用.NET技术开发“在浏览器端编译和运行C#代码的工具”，核心的技术就是用C#编写不依赖于Blazor框架的WebAssembly以及Roslyn技术。 一、 为什么要开发这样的工具？ 对于编程初学者来讲，开发环境的安装配置是一个令人头疼的事情，如果能让初学者不用做任 ......