使用方法 框架mqttnet通讯
redis stream 消费者组的使用
Redis Streams 是一个支持多生产者和多消费者的数据结构，它以时间顺序保存了一系列的消息。消费者组是 Redis Streams 中一个强大的概念，它使多个消费者能够协同地消费消息。 以下是关于 Redis Stream 消费者组的详细讲解： 1. 创建流 (Stream) 在 Redis ......
java使用Ffmpeg合成音频和视频
1、Maven依赖 <!-- 需要注意，javacv主要是一组API为主，还需要加入对应的实现 --> <dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv</artifactId> <version>1.5.6</versi ......
vcpkg 包管理在Clion 和 Qt中的使用
在使用C++的过程中，发现了一个强大的包管理器，以后再也不用自己去单独编译某个C++的外部插件了。下面说一下教程： 安装好 git后，直接在 D:\Plugins\develop 目录下克隆一个vcpkg的目录 git clone https://github.com/microsoft/vcpkg ......
软件测试/人工智能|使用 Pip 管理 Python 包
前言 Python是一门强大而灵活的编程语言，其社区拥有数量庞大且多样化的第三方库和工具，这些库可以让我们在项目中快速、高效地开发。pip 是Python的包管理工具，我们可以使用pip轻松地安装、升级和管理这些第三方包。 什么是 Pip？ Pip 是 Python 包索引(PyPI)的客户端工具， ......
Oracle数据库的创建方法
若需要建立的数据库名、数据库的用户为【DBNAME】，密码为【123456】。则建立数据库的步骤为： 1、打开Oracle的PL/SQL命令行，登录，使用sys登录，输入登录命令 【sys as sysdba】，回车。如果Oracle中创建了多个sid，需要手动指定sid，登录命令为：【sys/sy ......
python安装包（模块）的八种方法
1. 使用 easy_install easy_install 这应该是最古老的包安装方式了，目前基本没有人使用了。下面是 easy_install 的一些安装示例 # 通过包名，从PyPI寻找最新版本，自动下载、编译、安装 $ easy_install pkg_name # 通过包名从指定下载页寻 ......
python使用selenium操作浏览器的教程
重复的操作令手工测试苦不堪言，于是自动化测试出现了！作为web应用里最出名的自动化测试工具，selenium让web应用的测试轻松了很多。今天我们就来简单的介绍一下一些简单的selenium浏览器操作。接下来我们就来看看python怎么操作浏览器的吧！ 1、打开指定的网页地址 我们使用seleniu ......
阿贝云使用记录
安装操作系统后，就可以使用免费云服务器了。官网链接：阿贝云 https://www.abeiyun.com 毕竟是免费的，用起来速度还能接受，网络速度不算慢。用做学习使用完全够用了 ......
在vue3中使用openlayers3实现track轨迹动画
网上太多资料代码，抄来抄去，而且版本也是OL2的，部分API已经弃用 基础知识不多说，直接讲重点 三个关键变量 // 记录开始动画的时间 const startTime = ref(0); // 轨迹分割的颗粒度，数值越小分的越细 const particle = 20; // 轨迹动画的速度，数值 ......
使用freemarker，导出制作好的ftl模板，并写入数据
使用freemarker，导出制作好的ftl模板，并写入数据 一、背景 1.1 项目背景 最近在开发一个项目，需要导出一些数据，然后写入到word文档中，然后再导出到本地，这个需求是比较常见的，但是我在网上找了很多资料，都没有找到一个比较好的解决方案，所以就自己写了一个，这里分享给大家，希望能帮助到 ......
Ubuntu 2204 使用记录
1. 查看当前操作系统： cat /etc/issue 这个命令可以直接看到操作系统的发行版： Ubuntu 22.04.3 LTS \n \l 而如果是 uname -a ，则出来的结果很长一串，还不一定是自己想要的： Linux iZm8etn8uh9asdZ 5.15.0-86-generic ......
scrapy框架之自定义简易scrapy框架
自定义low版Scrapy框架： 1 from twisted.internet import reactor #事件循环(终止条件，所有的socket都已经移除) 2 from twisted.web.client import getPage #socket对象（如果下载完成..自动从事件循环中 ......
scrapy框架之Twisted
① getPage 1 1 # socket对象（如果下载完成..自动从事件循环中移除） 2 2 from twisted.web.client import getPage 详解： 1 def getPage(url, contextFactory=None, *args, **kwargs): ......
scrapy框架之中间件
一.下载中间件（DownMiddleware） 三种方法： 1 process_request(self, request, spider) 2 3 process_response(self, request, response, spider) 4 5 process_exception(sel ......
scrapy框架之自定制命令
自定制命令 1. 在spiders同级创建任意目录，如：commands 2. 在其中创建 crawlall.py 文件 （此处文件名就是自定义的命令） #crawlall.py文件 1 from scrapy.commands import ScrapyCommand 2 from scrapy. ......
scrapy框架之基本使用
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) ......
scrapy框架之选择器
1 from scrapy.selector import Selector, HtmlXPathSelector 2 from scrapy.http import HtmlResponse 3 html = """<!DOCTYPE html> 4 <html> 5 <head lang="en ......
tornado框架之模型绑定
模型绑定有两个主要功能： 自动生成html表单 用户输入验证 在之前学习的Django中为程序员提供了非常便捷的模型绑定功能，但是在Tornado中，一切需要自己动手！！！ 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset=" ......
scrapy框架之配置文件1
部分配置文件详解： 1 # -*- coding: utf-8 -*- 2 3 # Scrapy settings for test001 project 4 # 5 # For simplicity, this file contains only settings considered impo ......
scrapy框架之配置文件2
① 自动限速算法 1 """ 2 17. 自动限速算法 3 from scrapy.contrib.throttle import AutoThrottle 4 自动限速设置 5 1. 获取最小延迟 DOWNLOAD_DELAY 6 2. 获取最大延迟 AUTOTHROTTLE_MAX_DELAY ......
scrapy框架之自定义扩展
自定义扩展时，利用信号在指定位置注册制定操作 源码剖析： 1 from scrapy.extensions.telnet import TelnetConsole #查看TelnetConsole源码 2 3 # Enable or disable extensions 4 # See https: ......
自定义异步非阻塞web框架
Python的Web框架中Tornado以异步非阻塞而闻名，本文基于非阻塞的Socket以及IO多路复用从而实现异步非阻塞的Web框架，其中便是众多异步非阻塞Web框架内部原理。 图示： 上面的是异步IO模块：作为客户端发送请求给服务端，实现同时发多个请求的的功能，select监听socket是否有 ......
scrapy框架之自定义URL去重
scrapy默认使用 scrapy.dupefilter.RFPDupeFilter 进行去重，相关配有： 1 DUPEFILTER_CLASS = 'scrapy.dupefilter.RFPDupeFilter' #一般更改此参数 2 DUPEFILTER_DEBUG = False 3 JOB ......
tornado框架之cookie&session
一、cookie Tornado中可以对cookie进行操作，并且还可以对cookie进行签名以防止伪造 a、基本操作 1 class MainHandler(tornado.web.RequestHandler): 2 def get(self): 3 if not self.get_cookie ......
scrapy框架之格式化&持久化
格式化处理 在parse方法中直接处理是简单的处理方式，不太建议，如果对于想要获取更多的数据处理，则可以利用Scrapy的items将数据格式化，然后统一交由pipelines来处理 以爬取校花网校花图片相关信息为例： 1 import scrapy 2 from scrapy.selector i ......
scrapy框架之Cookie及自动登陆抽屉并点赞
自动登录抽屉并点赞 1 # -*- coding: utf-8 -*- 2 import scrapy 3 from scrapy.selector import Selector,HtmlXPathSelector #选择器，标签查找 4 from ..items import ChoutiIte ......
tornado框架之基本用法
Tornado 是 FriendFeed 使用的可扩展的非阻塞式 web 服务器及其相关工具的开源版本。这个 Web 框架看起来有些像web.py 或者 Google 的 webapp，不过为了能有效利用非阻塞式服务器环境，这个 Web 框架还包含了一些相关的有用工具 和优化。 Tornado 和现 ......
如何使用gogs搭建自己的git服务器
最近偶然发现一款轻量级的git服务器，以前一直用的svn server，最近想搞个git服务器， 用gitlab资源占用太多了，gogs是一款轻量级git服务器，非常适合个人使用。 项目地址：https://github.com/gogs/gogs 以下教程是基于Windows/Windows Se ......
如何进行代码混淆？方法与常见工具介绍
如何进行代码混淆？方法与常见工具介绍 目录 什么是代码混淆？ 代码混淆的方法 常见代码混淆工具 什么是代码混淆？ 代码混淆是指将计算机程序的代码转换成一种功能上等价，但难于阅读和理解的形式的行为。混淆后的代码很难被反编译，即使反编译成功也很难得出程序的真正语义。这种技术可以有效提升应用被逆向破解 ......
ResourceBundle使用详解
ResourceBundle使用详解 这个类主要用来解决国际化和本地化问题。国际化和本地化可不是两个概念，两者都是一起出现的。可以说，国际化的目的就是为了实现本地化。比如对于“取消”，中文中我们使用“取消”来表示，而英文中我们使用“cancel”。若我们的程序是面向国际的（这也是软件发展的一个趋势） ......