爬虫node教程
爬虫5
今日内容 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是 ......
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
ffmpeg教程 5.图文转视频，一个完整的案例
今天这篇博客，算是一个完整的案例，实现图文转视频功能。目前国内很多大厂的软件或App都有这个功能，但大多收费或效果一般。比如百度AI平台这个功能，单次价格10块左右，这让很多自媒体从业者望而却步；还有剪映，虽然功能强大，但自动生成的视频，有时真的驴唇不对马嘴，需要二次处理。今天就基于ffmpeg工具 ......
Node.js & npm package.json exports All In One
Node.js & npm package.json exports All In One
......
Spine 3.8.75 专业版 中文+破解+入门教程
1.Spine基本概念(官方教程翻译): 2.PS到Spine到导入Unity全流程 (注意部分视频声音忽大忽小)： 软件下载 点击立即下载 Spine3.8.75 专业版/中文/破解 给想要学习Spine但是经济略微拮据的小伙伴，仅用作学习交流，严禁商业售卖，低调使用就好。 点击立即下载Spine ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
cocos creator教程：嵌入 unity
使用配置 unity 2021.3.20f1c1 cocos creator 3.6.1 unity 配置 1. 配置原生环境 顶部菜单/文件/生成设置，以 IOS 为例 2. 配置 API Level 和 cocos 打包配置一致 接入步骤 导出 unity 安卓项目 将导出的 unity 安卓项 ......
爬虫selenium模块
selenium基本使用 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 可以直接用代码模拟真实的浏览器操作，每一步的点击 输入等 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉 ......
node版本升级 以及部分兼容问题解决
使用某开源vue项目时，npm run serve出现 1.Error: Cannot find module 'worker_threads' 这是node版本低的问题，Linux下升级 npm install n -g n stable Windows下下载新版本node覆盖旧版本即可 2.er ......
centos7 安装node环境
https://nodejs.org/download/release/v12.19.0/ https://blog.csdn.net/weixin_44106306/article/details/127895962 ......
Docker镜像使用node-gyp
# syntax=docker/dockerfile:1 FROM node:18-alpine ENV NODE_ENV=production # 重要的是这一句，安装 node-gyp 所需的便衣依赖即可 RUN apk update && apk upgrade && apk add g++ ......
制作逼真和高质量的武器纹理方法教程
Blacksteinn的艺术家Vsevolod Ushaev分享了他创作逼真和高质量的武器纹理的方法。Vsevolod专注于现代枪械，并叙述了整个制作过程：从基本材料到最小的擦伤艺术之间的细微差别。 1、收集参考 有些人低估了这一步骤，但它实际上才是最重要的。我们根本无法在脑海中想象我们将在3D中移 ......
Nmap使用教程
Nmap使用教程 一、端口扫描 1.不指定端口和扫描方式 nmap直接跟主机IP或域名，默认扫描1000个端口，列出来的是开放端口 2.指定端口扫描 使用-p参数，扫描指定端口，多个端口，一定范围内的端口 nmap 192.168.8.156 -p 80 nmap 192.168.8.156 -p ......
传奇单机架设全套教程——GEE引擎
当你拿到一个GEE引擎的版本，首先查看一下版本内文件是否完整，一个完整的GEE版本必须有：DBServer、LoginGate、LoginSrv、LogServer、Mir200、Mud2、RunGate、SelGate、登录器、网站和GEE m2控制台，以上文件少了都不能正常开区。 架设单机除了需 ......
Bing Image Creator使用教程
一、前言 Bing Image Creator是微软在2022年10月推出的产品，基于OpenAI开发的DALL-E 2图像生成技术。据微软官网介绍，“Image Creator是一款可帮助用户使用DALL-E生成图像的产品，得到文本提示后，AI将生成一组与该提示匹配的图像” 。目前，图像创建器Im ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
Windows 注册系统服务教程（包含bat 脚本）
一、场景 平时会遇到很多需要手动去把一些程序注册成系统服务，例如一些免安装版的中间件、数据库程序等，需要把运行窗口给隐藏起来，做成系统服务管理也方便。 一些整理汇总常用的注册服务方法，包括一些特殊场景。 二、Sc 命令注册 sc 是用来与服务控制管理器和服务进行通信的命令行程序。也可以将.bat 脚 ......
nvm: node版本管理
前端在实际开发中，有时需要不同的node版本，这时就需要一个node版本管理工具 在Mac中，我们使用nvm来管理node的不同版本 安装 安装nvm brew install nvm 配置 配置~/.base_profile文件 export NVM_DIR="$HOME/.nvm" [ -s " ......
Electron打包在线客服系统网站教程-实现客服系统PC客户端
唯一客服系统PC客户端，利用Electron打包实现 可以避免浏览器被误关闭，支持缩小在右下角系统托盘中，支持通知栏和声音访客新消息提醒 一个Electron应用程序的package.json文件。 { "name": "kefu-pc-client", "version": "1.0.0", "d ......
Scrapy爬虫之反人类的反爬虫手段
最近一直在编写一个爬虫项目，同时也通过爬虫爬取了一些网站数据（正规公开数据），我们都知道，爬虫和反爬虫一直都是相辅相成的，爬虫程序员想破解反爬虫的技术，反爬虫的技术员则希望通过技术手段实现有效的反爬虫方式。 由于在这阶段进行的爬虫学习中，经常中招，所以今天就简单的总结一下反爬虫的方式。 一、BAN ......
如何设计一个网页爬虫
作为长期深耕在爬虫行业的程序猿来说，对于设计一个网页爬虫想必很简单，下面就是一些有关网页爬虫设计的一些思路，可以过来看一看。 第一步：简述用例与约束条件 把所有需要的东西聚集在一起，审视问题。不停的提问，以至于我们可以明确使用场景和约束。讨论假设。 我们将在没有面试官明确说明问题的情况下，自己定义一 ......
Midjourney使用入门教程
AI不仅会聊天下棋，还会作画！ 只要输入关键词，就会自动帮你生成精致漂亮的图片，而且费时不用五分钟！ 这么方便又有趣的绘图工具，今天就要来教教大家如何操作 Midjourney 这套人工智能绘图软件。 ▲ 用Midjourney产出的图片。 1. 查询并进入Midjourney 首先，查询 Midj ......
Cesium官方教程——Fabric
1、简介 Fabric 是Cesium中定义的描述材质Material的JSON 结构体。Material代表了一个物体的外观。 材质Material可以是比较简单的，比如直接将一张图片赋予表面，或者使用条纹状、棋盘状的图案；也可以使用Fabric和GLSL，重新创建一个新的材质或者组合现有的材质。 ......
《golong入门教程📚》，从零开始入门❤️（建议收藏⭐️）
Go语言学习笔记 本菜鸟的Go语言学习笔记，历时1个月，包含了Go语言大部分的基本语法（不敢说全部），学习期间参考了各种视频，阅读了各种文章，主要参考名单如下： 点击跳转到参考名单<（￣︶￣）> 在这里小声说两句：Go语言对于并发的支持非常nice，在现在这个卷的时代，多学习一门编程语言，就多一点竞 ......
工良出品：包教会，Hadoop、Hive 搭建部署简易教程
导读 最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此，本文记录在 Win ......
【ASP.NET Core】在node.js上托管Blazor WebAssembly应用
由于 Blazor-WebAssembly 是在浏览器中运行的，通常不需要执行服务器代码，只要有个“窝”能托管并提供相关文件的下载即可。所以，当你有一个现成的 Blazor wasm 项目，没必要用其他语言重写，或者你不想用 ASP.NET Core 来托管（有些大材小用了），就可以试试用 node ......
自己动手从零写桌面操作系统GrapeOS系列教程——19.硬盘读写理论知识
学习操作系统原理最好的方法是自己写一个简单的操作系统。 一、硬盘控制器 我们前面已经讲过硬盘控制器是一种I/O接口，CPU通过它就能间接的读写硬盘。硬盘控制器主要有IDE和SATA两种，我们这里只考虑IDE控制器。 电脑里硬盘控制器有2个,一个叫主控制器，另一个叫从控制器。而每个硬盘控制器能连接两个 ......
自己动手从零写桌面操作系统GrapeOS系列教程——20.汇编语言读硬盘实战
学习操作系统原理最好的方法是自己写一个简单的操作系统。 本讲我们设计一个简单的读硬盘实验。通过一定的方法使硬盘第二个扇区的前3个字节依次为1、2、3，最后3个字节依次为3、2、1，中间的506个字节全为0。然后通过读硬盘程序将硬盘第二个扇区的数据读取到内存0x7e00-0x7fff的地方，也就是内存 ......