爬虫 分布式scrapy_redis框架
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
C#/.NET/.NET Core优秀项目和框架
C#/.NET/.NET Core优秀项目和框架2023年12月简报 前言 公众号每月定期推广和分享的C#/.NET/.NET Core优秀项目和框架（公众号每周至少推荐两个优秀的项目和框架当然节假日除外），公众号推文有项目和框架的介绍、功能特点以及部分功能截图等（打不开或者打开GitHub很慢的同 ......
.NET 6 配置使用NLog日志框架的方法及示例代码
Log是一个流行的开源日志记录框架，用于在.NET应用程序中记录日志。它提供了强大的日志记录功能，具有灵活的配置选项和多种目标，可将日志记录到不同的输出位置，例如文件、数据库、控制台等。本文主要介绍.NET 6 中配置使用NLog，以及相关示例代码。 1、安装引用NLog 使用NLog需要安装引 ......
【转】【C#】对象映射框架之 Mapster
开源项目地址：https://github.com/MapsterMapper/Mapster 与 AutoMapper 相比，Mapster 在速度和内存占用方面表现更加优秀 使用起来也很简单： 1、安装包，如果是 .net framework 环境，可以安装 6.X 版本，否则建议安装最新版本 ......
自动化测试框架 —— pytest框架入门篇
今天就给大家说一说pytest框架。 今天这篇文章呢，会从以下几个方面来介绍： 1、首先介绍一下pytest框架 2、带大家安装Pytest框架 3、使用pytest框架时需要注意的点 4、pytest的运行方式 5、pytest框架中常用的插件 01、pytest框架介绍 pytest 是 pyt ......
常用Python自动化测试框架有哪些？优缺点对比
随着技术的进步和自动化技术的出现，市面上出现了一些自动化测试框架。只需要进行一些适用性和效率参数的调整，这些自动化测试框架就能够开箱即用，大大节省了测试时间。而且由于这些框架被广泛使用，他们具有很好的健壮性，并且具有广泛多样的用例集和技术来轻易发现微小的缺陷。 以前，测试团队接手一个项目，他们不得不 ......
Jax框架支持的python和numpy版本
官方： https://jax.readthedocs.io/en/latest/deprecation.html 每个推出的JAX版本都会支持45个月内推出的python，对此具体解释一下： 比如Jax_1.0.0为2024年1月1号release，2020年3月到2024年1月1号之间发行的py ......
Jax框架在不同版本间的随机数生成并不一致 —— jax.random
官方： https://jax.readthedocs.io/en/latest/api_compatibility.html#numerics-and-randomness 具体的解释就是在不同的Jax版本之间，即使设置相同随机种子也不能保证生成的随机数一致，比如： ` jax.random.gu ......
分布式锁
分布式锁 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 为什么需要分布式锁? 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享 ......
LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架
文章首发于公众号：机器感知 LLM增强LLM；通过预测上下文来提高文生图质量；Spikformer V2；同时执行刚性和非刚性编辑的通用图像编辑框架 LLM Augmented LLMs: Expanding Capabilities through Composition 本文研究了如何高效地组合 ......
SpringBoot框架中的DAO层、Entity层、Service层、Controller层
非原创，看了许多篇博客的总结 一般的项目模块中都有DAO、Entity、Service、Controller层。 Entity层是实体层，也就是所谓的model，也称为pojo层，是数据库在项目中的类，该文件包含实体类的属性和对应属性的set、get方法； DAO层=mapper层，现在用Mybat ......
Spring学习记录之手写Spring框架
Spring学习记录之手写Spring框架 前言 这篇文章是我第二次学习b站老杜的spring相关课程所进行的学习记录，算是对课程内容及笔记的二次整理，以自己的理解方式进行二次记录，其中理解可能存在错误，欢迎且接受各位大佬们的批评指正； 关于本笔记，只是我对于相关知识遗忘时快速查阅了解使用，至于课程 ......
BEV感知融合框架
BEVPerception Survey 最新文献综述研究主要包含三个部分 ——BEV 相机、BEV 激光雷达和 BEV 融合。BEV 相机表示仅有视觉或以视觉为中心的算法，用于从多个周围摄像机进行三维目标检测或分割；BEV 激光雷达描述了点云输入的检测或分割任务；BEV 融合描述了来自多个传感器输 ......
SpringDataJpa框架使用【超详细！】
SpringDataJpa框架使用【超详细！】 SpringDataJpa框架使用文档一、什么是 Jpa ?jpa 的全称是 Java Persistence API , 中文的字面意思就是 java 的持久层 API , jpa 就是定义了一系列标准，让实体类和数据库中的表建立一个对应的关系，当我 ......
太强了！全新一代分布式任务调度与计算框架！
PowerJob（原 OhMyScheduler） —— 全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。 ......
【eBPF-03】进阶：BCC 框架中 BPF 映射的应用 v1.0
本文介绍了六个工具，主要涵盖了 BPF_HASH / BPF_ARRAY / BPF_HISTOGRAM / BPF_STACK_TRACE 这四种最常见的 BPF 映射 的使用方法。 ......
分布式存储ceph——（6）ceph osd故障硬盘更换
故障状态： 实施更换步骤： （1）关闭ceph集群数据迁移： osd硬盘故障，状态变为down。在经过mod osd down out interval 设定的时间间隔后，ceph将其标记为out，并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响，可以先将其暂时关闭 ......
分布式存储ceph——（5）ceph 添加/删除osd
一、添加osd： 当前ceph集群中有如下osd，现在准备新添加osd： （1）选择一个osd节点，添加好新的硬盘： （2）显示osd节点中的硬盘，并重置新的osd硬盘： 列出节点磁盘：ceph-deploy disk list rab1 擦净节点磁盘：ceph-deploy disk zap ra ......
Unity3D 框架如何实现道路引导 UV 动画详解
Unity3D 是一款功能强大的游戏引擎，能够实现各种各样的游戏效果。在游戏开发中，道路引导是一个常见的需求，可以用来指引玩家前进的方向。而为了增加游戏的真实感和视觉效果，我们可以使用道路引导 UV 动画来模拟道路的移动效果。本文将详细介绍 Unity3D 框架如何实现道路引导 UV 动画，并提供相 ......
分布式存储ceph——（4）ceph常用命令
1、查看ceph集群配置信息 1 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2、在部署节点修改了ceph.conf文件，将新配置推送至全部的ceph节点 1 ceph-deploy --overwrite-c ......
SSM 框架 （简单登陆注册）
1. 介绍 1）SSM框架是Spring、Spring MVC、和Mybatis框架的整合，是标准的MVC模式。 标准的SSM框架有四层，分别是mapper层(dao层)，service层，controller层和View层。 使用Spring实现业务对象管理，使用Spring MVC负责请求的转发 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-1 zookeeper常用命令行操作
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12698 1 重点关注 1.1 常用命令操作 ./zkCli.sh 启动客户端ls / 查看节点信息ls2 / 查看节点状态信息stat / 查看节点状态信息ls2 = ls+statget / ......
中间件 ZK分布式专题与Dubbo微服务入门 3-3 zookeeper的作用体现
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12696 1 重点关注 1.1 zookeeper的作用 master节点选举，主节点挂了以后，从节点就会接手工作，并且保证这个节点是唯一的，这也是所谓首脑模式，从而保证我们的集群是高可用的 统 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-2 zk客户端连接关闭服务端，查看znode
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12695 1 重点关注 1.1 zookeeper客户端操作命令 启动 ./zkCli.sh 停止 Ctrl C 其他命令 启动后 help 查看节点 ls / 2 课程内容 2.1 操作步骤 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-1 zk数据模型介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12694 1 重点关注 1.1 zookeeper数据模型概念介绍 zk的数据模型也可以理解为linux/unix的文件目录 : /usr/local/. 每一个节点都称之为znode，它可以有 ......
一图看懂深圳产业分布
龙华区的产业关键词离不开：电子信息、人工智能、生命健康、时尚创意； 坪山区的主导产业为：生命健康、新能源产业、新一代信息技术产业； 光明区牢牢抓紧：智能产业、新材料产业、生命科学产业以及现代服务业等“3+1”产业； 龙岗区则以：ICT、AIoT、电子元器件、绿色能源、生命科学、创意生活等六大产业集群 ......
Android 之 实验24 Retrofit网络框架
实验24 Retrofit网络框架 一、 实验目的及要求 通过本实验的学习，使学生掌握Retrofit网络框架。 二、实验设备（环境）及要求 Android Studio 三、实验内容与步骤 新建一个Android项目，设置项目的基本属性，修改build.gradle.kts（Module: app ......
中间件 ZK分布式专题与Dubbo微服务入门 2-4 zookeeper配置文件介绍，运行zk
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12692 1 重点关注 1.1 最常用的目录 bin 执行启动关闭zookeeper命令 conifg 进行配置文件配置 recipes 案例代码 docs 文档参考 2 课程内容 2.1 zo ......
任务调度框架 Quartz
一、定时任务概述 在 Java 中开发定时任务主要有三种解决方案：一是使用JDK 自带的 Timer，二是使用 Spring Task，三是使用第三方组件 ，如Quartz Timer 是 JDK 自带的定时任务工具,其简单易用，但是对于复杂的定时规则无法满足，在实际项目开发中也很少使用到。而 Sp ......