爬虫 规则 分布式 中间件
ublock origin自定义规则--以屏蔽B站广告为例
目前比较知名的广告屏蔽插件有ublock origin(ubo), adguard等, 其中adguard跨平台性更好, 浏览器插件, 安卓,PC客户端, 我用的是ublock origin, 据说资源占用小，实际使用下来都差不多，不过ubo添加自定义规则方便很多，推荐～ 最近刷B站网页版的时候, ......
pytorch(8-3) 文本语言处理 拆分成字符统计词频并从高到底分配ID 画图可视化1-3元词频分布规律
https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l #@save ......
Redis学习之分布式锁
分布式锁：满足分布式系统或集群模式下多进程可见并且互斥的锁。 分布式锁的两个基本特征： 多线程（进程）可见（读写） 互斥 还应具备的特征： 高可用：不能挂机 高性能：读写要快 安全性：不能出现死锁 实现方式 主要有以下三种： 其中，MySQL 的实现成本相对最低、Redis 性能最高、Zookeep ......
花瓣链接爬虫另一版
from selenium import webdriverfrom selenium.webdriver.common.by import Byimport timeimport osBASE_URL = "https://huaban.com/search?q={keyword}&sort=al ......
shell的概念_优势_规则_执行方式
shell的概念 shell是一块包裹着系统核心的壳，处于操作系统的最外层，与用户直接对话把用户的输入解释给操作系统，然后处理操作系统的输出结果，输出到屏幕给与用户看到结果 我们登录到Linux，输入账号密码到进入Linux交互式界面，所有操作，都是交给shell解释并执行 shell的作用 解释执 ......
【node爬虫】node爬虫实用教程
准备工作 通过指令npm init初始化文件夹，会获得package.json项目说明书。 爬虫必备工具：cheerio；通过在终端输入npm i cheerio，即可将文件装到项目里。cheerio 是 jquery 核心功能的一个快速灵活而又简洁的实现，主要是为了用在服务器端需要对 DOM 进行 ......
爬虫入门
前情摘要 一、web请求全过程剖析 我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? BS --> browser/server 我们看一下一个浏览器请求的全过程 接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么? 非也~ 这里要介绍一个新的概念 那就是页 ......
Python命名规则
标识符，必须以字母、下画线（_）开头（数字不能打头），后面可以跟任意数目的字母、数字和下画线（_）。字母并不局限于 26 个英文字母，可以包含中文字符、日文字符等。Python 语言是区分大小写的，因此 abc 和 Abc 是两个不同的标识符。标识符不能是 Python 关键字，但可以包含关键字。标 ......
在 CentOS7/CentOS8 上使用 cephadm 安装分布式存储系统 Ceph【转】
Cephadm 介绍 官方文档：https://docs.ceph.com/en/latest/cephadm/ cephadm 用于部署和管理 Ceph 集群，它通过 SSH 将 manager 守护进程连接到主机来实现这一点。manager 守护进程支持添加、删除和更新 Ceph 容器。ceph ......
Redis——分布式锁
基本原理 synchronized是利用JVM内部的锁监视器控制线程，但是只能在一个JVM中生效。如果有多个JVM的时候，就会有多个线程获取到锁，就无法实现多JVM进程之间的互斥了。 因此不能使用JVM内部的锁监视器了，必须使用JVM外部的锁监视器，就能保证只有一个线程获取到锁，就能实现多进程之间的 ......
异步爬虫实战：实际应用asyncio和aiohttp库构建异步爬虫
在网络爬虫的开发中，异步爬虫已经成为一种非常流行的技术。它能够充分利用计算机的资源，提高爬虫效率，并且能够处理大量的运算请求。Python中的asyncio和aiohttp库提供了强大的异步爬虫支持，使得开发者能够轻松构建高效的异步爬虫。 什么是异动爬虫？为什么要使用自动爬虫？ 异步爬虫是一种高效的 ......
花瓣网爬虫
from selenium import webdriverfrom selenium.webdriver.common.by import Byimport timeimport osBASE_URL = "https://huaban.com/search?q={keyword}&sort=al ......
分布式操作系统市场规模有万亿吗？你怎么看？
昨天参加一个饭局，席间和一位做ICT基础设施投资的朋友聊起我们团队研发的LAXCUS分布式操作系统，请他分析一下分布式操作系统和连带的产业市场规模价值，我给出的分析依据是：1. LAXCUS面向TO B市场，有广泛应用前景，包括AI、大数据、HPC的支持2. LAXCUS属于多机操作系统，和Wind ......
vscode 配置后安装prettier的规则自动格式化
建议在项目的根目录下找的.vscode文件，在这个文件下创建settings.jsong写入如下配置： { // 1.在保存时格式化文件 "editor.formatOnSave": true, // 2.在保存时格式化文件使用prettier的方式格式化 "editor.defaultFormat ......
Kafka的分布式架构与高可用性
导语 一开始我们就说过Kafka是一款开源的高吞吐、分布式的消息队列系统，那么今天我们就来说下它的分布式架构和高可用性以及双/多中心部署。 Kafka 体系架构简介 以下是 Kafka 的软件架构，整个 Kafka 体系结构由 Producer、Consumer、Broker、ZooKeeper 组 ......
Redis分布式锁
简述 利用Redis的Setnx命令，来实现一个分布式的加锁方案。利用注解，在拥有该注解的方法上，进行切面处理，在方法执行前，进行加锁，执行结束后，根据是否自动释放锁，进行解锁。 将该注解用在定时任务的方法上，即可实现分布式定时任务，即获取到锁的方法，才会执行。 1 redis命令 1.1 setn ......
爬虫面试题梳理
1. 常见的反爬虫和应对方法？ 1. 基于身份识别进行反爬 (1) 用户请求的headers - headers知识补充： - host：提供了主机名及端口号 - Referer 提供给服务器客户端从那个页面链接过来的信息（有些网站会据此来反爬） - Origin：Origin字段里只包含是谁发起的 ......
MyCAT中间件服务实现读写分离
#三台服务器 centos7 mycat-server 10.0.0.152 内存2G以上 centos8 mysql-master 10.0.0.150 mariadb 10.3 centos8 mysql-master 10.0.0.160 mariadb 10.3 #1）创建数据库主从 [ro ......
分布式事务：XA和Seata的XA模式
上一篇内容《从2PC和容错共识算法讨论zookeeper中的Create请求》介绍了保证分布式事务提交的两阶段提交协议，而XA是针对两阶段提交提出的接口实现标准，本文则对XA进行介绍 ......
Mysql 分布式序列算法
接上文 Mysql分库分表 1.分布式序列简介 在分布式系统下，怎么保证ID的生成满足以上需求？ ShardingJDBC支持以上两种算法自动生成ID。这里，使用ShardingJDBC让主键ID以雪花算法进行生成，首先配置数据库，因为默认的注解id是int类型，装不下64位，需要进行修改： # 在 ......
keras.layers. K.function 用法(keras提取中间层的输出)
https://www.laike.net/article-11-295083-0.html 使用K.function()调试keras操作 Keras的底层库使用Theano或TensorFlow，这两个库也称为Keras的后端。无论是Theano还是TensorFlow，都需要提前定义好网络的结 ......
羽毛球规则硝基
队友碰拍不违规，但是不能被同一方队员多次击中。 发球擦网不用重发。 发球时击球点不能高过握拍手的手腕、不能二次动作、击球点不能高过1.15米。 球碰到选手的身体或衣服或被击时停滞在球拍上一段时间输。 选手的球拍、身体或衣服，触及球网或其支撑物输。 发球方每得一分后，原发球员则变换发球区再发球。 被击 ......
分布式系统笔记目录
分布式系统笔记目录 本目录源自我校的分布式系统课程，我觉得很有趣，就制作了笔记并分享 老师的笔记的目录结构感觉还是有些问题，但是当时学习时间比较紧，就没来得及排版 仅供学习使用 第一章：基本概念 分布式系统相关概念、与并行计算的关系、云计算概念、分布式计算的背景、目的、应用及展望 第二章：模型问题 ......
使用rewrite规则实现将所有到a域名的访问rewrite到b域名
[root@centos8 ~]#vim /apps/nginx/conf/conf.d/mobile.conf server { listen 80; server_name www.a.com; location / { root "/data/nginx/html/mobile"; index ......