爬虫 分布式scrapy-redis组件
爬虫_初步（爬取豆瓣图片）
引用python库 from urllib.request import urlopen import urllib.request,urllib.error import re 找到本机的headers headers = {'User-Agent': 'Mozilla/5.0 (Windows ......
伪分布免密
[root@docker00 ~]# ssh-keygen -t rsa [root@docker00 ~]# cd .ssh/ [root@docker00 .ssh]# cp id_rsa.pub authorized_keys [root@docker00 .ssh]# chmod 600 a ......
vue3 + vant4 ：form表单中，搭配 Popup 和 Field 实现vant-picker组件，设置默认值及默认选中--踏坑
环境：vue3，vant4 背景：Picker 作为用于辅助表单填写，搭配 Popup 和 Field 。页面需要给picker设置默认值，city为温州，但是在popup弹出时，picker没有选中温州这个选项，还时停留在杭州。 解决方案： 看了很多解决方案，设置default-indexset ......
Qt在ui界面设置组件样式，styleSheet属性
QGroupBox { border: 3px solid red; border-radius: 15px; } QGroupBox#groupBoxBtns { border: 3px solid green; border-radius: 5px ; } QPushButton { borde ......
记录--Vue自动生成组件名
这里给大家分享我在网上总结出来的一些知识，希望对大家有所帮助 unplugin-generate-component-name 一款用于以文件夹名或者setup标签写入名字来自动生成Vue组件名的插件。 项目地址 功能 💚 支持 Vue 3 开箱即用。 ⚡️ 支持 Vite、Webpack、Rsp ......
分布式缓存NewLife.Redis
NewLife.Redis 是一个Redis客户端组件，以高性能处理大数据实时计算为目标。 Redis协议基础实现位于Redis/RedisClient，FullRedis为扩展实现，主要增加列表结构、哈希结构、队列等高级功能。 源码： https://github.com/NewLifeX/New ......
.netcore 分布式事务CAP 快速入门
https://blog.csdn.net/jbossjf/article/details/122590688 CAP是一个用来解决微服务或者分布式系统中分布式事务问题的一个开源项目解决方案。可以解决跨服务器的数据一致性、可用性问题。一个简单的列子，如：订单系统创建订单后需要通知邮件通知用户下单成功 ......
爬虫你还在用selenium吗，out了！试用DrissionPage
selenium太难记了，试试DrissionPage是否更人性化一些 先说一下安装试用的3个坑 坑1.我把脚本名叫DrissionPage.py 运行时提示循环引用错误， 不能用这个名字作为脚本名。 坑2.我默认华为云时，pip install DrissionPage 找不到，提示404 改为害 ......
基于vue3和elementplus实现的自定义table组件
基于vue3和elementplus实现的自定义table组件，集成查询工具栏分页，可通过配置直接实现基础的列表页基于vue3和elementplus实现的自定义table组件，集成查询工具栏分页，可通过配置直接实现基础的列表页 目录结构如下： 类型声明： declare type DictType ......
C++ Qt开发：StringListModel字符串列表映射组件
Qt 是一个跨平台C++图形界面开发库，利用Qt可以快速开发跨平台窗体应用程序，在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置，实现图形化开发极大的方便了开发效率，本章将重点介绍`QStringListModel`字符串映射组件的常用方法及灵活运用。`QStringListModel` 是 ... ......
自己新建的一个项目作为分布式的调研学习以及使用功能的启动消息如下
D:\work\Java\jdk-17.0.4.1\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:1117,suspend=y,server=n -XX:TieredStopAtLevel=1 -Dspring.o ......
《Java架构师的第一性原理》35分布式计算之分布式事务（TCC、最终一致性、Seata）
1 常见分布式实现方案介绍 1.1 XA方案 有一个事务管理器的概念，负责协调多个数据库（资源管理器）的事务 不适合高并发场景，严重依赖数据库层面，同步阻塞问题；协调者故障则所有参与者会阻塞 1.2 TCC方案 严重依赖代码补偿和回滚，一般银行用，和钱相关的支付、交易等相关的场景，我们会用TCC T ......
《Java架构师的第一性原理》38分布式计算之微服务SpingCloud
1 微服务简介 1.1 什么是微服务 微服务是最近的一两年的时间里是很火的一个概念。感觉不学习一下都快跟不上时代的步伐了，下边做一下简单的总结和介绍。 何为微服务？简而言之，微服务架构风格这种开发方法，是以开发一组小型服务的方式来开发一个独立的应用系统的。其中每个小型服务都运行在自己的进程中，并经常 ......
【python爬虫课程设计】大数据分析——土壤、菌类、环境对乔木植物的生存影响数据的预测模型
选题方向：2.大数据分析 一、选题背景介绍 新华社北京7月18日电 全国生态环境保护大会17日至18日在北京召开。今后5年是美丽中国建设的重要时期，要深入贯彻新时代中国特色社会主义生态文明思想，坚持以人民为中心，牢固树立和践行绿水青山就是金山银山的理念，把建设美丽中国摆在强国建设、民族复兴的突出位置 ......
《Java架构师的第一性原理》36分布式计算之分布式监控分布式链路跟踪（CAT、SkyWalking、Zipkin）
分布式链路跟踪 99 直接读这些牛人的原文 大众点评CAT开源监控系统剖析 一文带你看懂，SkyWalking分布式追踪系统原理及实践 SkyWalking —— 分布式应用监控与链路追踪 全面解析微服务系统监控分层，啃透服务治理核心！ ......
《Java架构师的第一性原理》33分布式计算之分布式注册中心、分布式配置中心
待补充 1 分布式注册中心 2 分布式配置中心 2.1 Apollo 2.1.1 Apollo是怎样注入到SpringBean的容器里的 99 直接读这些牛人的原文 apollo不使用 MQ 如何实现 pub/sub 场景？ 13张图彻底搞懂分布式系统服务注册与发现原理 为什么 @Value 可以获 ......
《Java架构师的第一性原理》30分布式计算之分布式算法
极客时间 韩健 121.分布式协议与算法实战 00 开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧 为什么要单独讲分布式协议和算法呢？ 在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。 ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第3篇LevelDB
互联网业务，绝大部分场景，会使用缓存服务。 但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storage library)，它支持字符串的key与字符串的value，并且这种映射 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
《Java架构师的第一性原理》31分布式计算之微服务RPC（Dubbo）
1 互联网架构，究竟为啥要做服务化 互联网架构，究竟为啥要做服务化？ 2 微服务架构，多“微”才合适？ 微服务架构，多“微”才合适？ 3 离不开的微服务架构，脱不开的RPC细节 离不开的微服务架构，脱不开的RPC细节 3.1 服务化解决的问题 1）服务化需要解决的问题： 一套序列化、反序列化、网络框 ......
Flutter Key 以及通过Key获取子组件的状态和方法
import 'package:flutter/material.dart'; class ColorItem { GlobalKey key; Color color; //设置子组件的key，这里用的GlobalKey，用来后面获取子组件 //如果不用获取子组件，也可以用Valuekey Col ......
【UniApp】-uni-app-自定义组件
前言 经过上个章节的介绍，大家可以了解到 uni-app-网络请求的基本使用方法 那本章节来给大家介绍一下 uni-app-自定义组件 的基本使用方法 原本打算是直接写项目的，在写项目之前还有个内容需要我在码一篇文章，所以就先码这篇文章了 本章节的内容比较简单，大家可以快速的过一遍，然后在项目中使用 ......
一套分布式IM即时通讯系统的技术选型和架构设计
为了更好的理解分布式IM即时通讯系统的设计，我站在架构师的角度，在充分了解系统需求、业务流程和技术流程后，从全局视角为系统设定方案目标，对技术方案进行选型，对系统进行总体架构设计和分层架构设计，并梳理清楚发送消息的交互链路、单聊和群聊的交互链路。希望对你有帮助。 ......
C++ Qt开发：StatusBar底部状态栏组件
Qt 是一个跨平台C++图形界面开发库，利用Qt可以快速开发跨平台窗体应用程序，在Qt中我们可以通过拖拽的方式将不同组件放到指定的位置，实现图形化开发极大的方便了开发效率，本章将重点介绍`QStatusBar`底部状态栏组件的常用方法及灵活运用。`QStatusBar` 是 Qt 中用于在主窗口底部... ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......
爬虫新问题
Traceback (most recent call last): File "D:\software\python\python310\lib\site-packages\urllib3\connectionpool.py", line 790, in urlopen response = se ......
鸿蒙开发之容器组件
容器组件类似于flex的布局， 不过这里是固定Column 是纵向 Row是横向 当然， 也提供了很多的flex相关的属性封装 如何设置？ 第一种是 Row() { Text($r(…)) Text($r(…)) } .justifyContent(FlexAlign.SpaceBetween) / ......