爬虫 分布式python网络
python-docx操作word文档详解
案例 官网地址： https://python-docx.readthedocs.io/en/latest/ pip install python-docx from docx import Document from docx.shared import Inches document = Doc ......
Python开发Brup插件检测SSRF漏洞和URL跳转
作者：馒头，博客地址：https://www.cnblogs.com/mantou0/ 出身： 作为一名安全人员，工具的使用是必不可少的，有时候开发一些自己用的小工具在渗透时能事半功倍。在平常的渗透测试中和SRC漏洞挖掘中Brupsuite使用的比较多的于是我有了一个小想法。 思路： 1、在服务器上 ......
Selenium4+Python3系列（十二） - 测试框架的设计与开发
前言 自己从未没想过能使用python来做自动化测试框架的设计、开发。 可能有人会好奇说，六哥，你怎么也用python写测试框架了？ 领导说： python你也没有实际工作经验，可能就是自己自学的。 听完，那一刻，我真的特别证明自己，我也行！ 框架搭建 整个框架的实现，大约也就1.5天，关于框架的开 ......
Selenium4+Python3系列（十三） - 与docker中的jenkins持续集成
前言 文章更新到这一篇时，其实我还是很开心的，因为这也正是这系列教程的最后一篇文章，也算是完成了一个阶段性的小目标，也很感谢那些愿意看我文章与我交流学习的同学，感谢有你们的支持和陪伴。 Jenkins的下载安装 1、拉取镜像： 笔者是Mac系统，为了方便就直接使用Docker进行安装了，终端输入如下 ......
秒级查询之开源分布式SQL查询引擎Presto实操-上
大数据交互式查询是每个数据分析人员不可或缺的需求，本篇以业界交互式查询的经典之作Presto为研究对象，了解其架构和优缺点及丰富连接器。并通过安装一个协调节点和3个worker节点的分布式集群，使用命令行界面演示hive连接器的查询数据表的示例，最后了解其使用的要点。 ......
深度学习之残差网络
资料下载 链接：https://pan.baidu.com/s/1mTqblxzWcYIRF7_kk8MQQA 提取码：7x6w 资料的下载真的很感谢(14条消息) 【中文】【吴恩达课后编程作业】Course 4 - 卷积神经网络 - 第二周作业_何宽的博客-CSDN博客 我找了几天resnet50 ......
详解redis网络IO模型
前言 "redis是单线程的" 这句话我们耳熟能详。但它有一定的前提，redis整个服务不可能只用到一个线程完成所有工作，它还有持久化、key过期删除、集群管理等其它模块，redis会通过fork子进程或开启额外的线程去处理。所谓的单线程是指从网络连接(accept) -> 读取请求内容(read) ......
kestrel网络编程--开发Fiddler
1 文章目的 本文讲解基于kestrel开发类似Fiddler应用的过程，让读者了解kestrel网络编程里面的kestrel中间件和http应用中间件。由于最终目的不是输出完整功能的产品，所以这里只实现Fiddler最核心的http请求和响应内容查看的功能。本文章是KestrelApp项目里面的一 ......
kestrel网络编程--开发redis服务器
1 文章目的 本文讲解基于kestrel开发实现了部分redis命令的redis伪服务器的过程，让读者了解kestrel网络编程的完整步骤，其中redis通讯协议需要读者自行查阅，文章里不做具体解析。 2 开发顺序 创建Kestrel的Redis协议处理者 配置监听的EndPoint并使用Redis ......
Python字符串格式化与F-String语法
Python格式化字符串有三种方法，第一是早期就有的%，其次是2.5之后的format()，还有就是3.6添加的f-string，本文还额外介绍了内置的标准库Template，该库也提供了格式化字符串的方法。 ......
rate-limit 一款 java 开源渐进式分布式限流框架使用介绍
项目简介 rate-limit 是一个为 java 设计的渐进式限流工具。 目的是为了深入学习和使用限流，后续将会持续迭代。 特性 渐进式实现 支持独立于 spring 使用 支持整合 spring 支持整合 spring-boot 内置多种限流策略 快速开始 需求 jdk 1.7 maven 3. ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(7) - 在线问答系统
1.项目源码/业务逻辑 百度网盘链接：链接：https://pan.baidu.com/s/13VNfrSJE6vcL3HP1J5T8ew 提取码：00s0，项目业务逻辑自行阅读 2.项目搭建 👇点击新建New Project，选择Flask项目 👇选择项目路径和使用Virtualenv新建项目 ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(6) - Flask表单的实现
1.表单介绍 1.1.表单知识回顾 常见的表单元素： 表单标签<form> action：表单提交的URL地址 method：表单请求的方式（GET/POSt） enctype：请求内容的形式，如：application/x-www-form-urlencoded、multipart/form-da ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(4) - Flask模板语法与继承
1.Flask模板介绍 前置：理解渲染机制即上篇笔记中render_template()功能是如何实现的！ 1）找到html文件地址 2）读取html文件中的内容 3）替换html中的特殊字符 4）将html的内容发送给浏览器 1 <!-- html文件 --> 2 3 <!DOCTYPE html ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(5) - Flask中的ORM使用
1.理解ORM ORM是MTV模型里面的Model模型 ORM(Object Relational Mapping)，对象关系映射 举例：学生选课 学生和课程这两个实体，一个学生可以选择多门课程，一个课程可以被多名学生选择。这两个实体是多对多的关系，学生选课对应的数据库表 为什么要学习ORM ORM ......
为什么分布式限流会出现不均衡的情况？
概述 在微服务、API 化、云原生大行其道的今天，服务治理不可或缺，而服务治理中限流几乎是必不可少的手段；微服务化往往伴随着分布式的架构，那么仅仅单机限流是不够的，还需要分布式的限流。 那么问题就来了：分布式限流中，往往会出现「限流不均衡」或「限流误差」的情况，这是为什么呢？ 限流 国庆假期，限流这 ......
制作 Python Docker 镜像的最佳实践
概述 📚️Reference: 制作容器镜像的最佳实践 这篇文章是关于制作 Python Docker 容器镜像的最佳实践。(2022 年 12 月更新） 最佳实践的目的一方面是为了减小镜像体积，提升 DevOps 效率，另一方面是为了提高安全性。希望对各位有所帮助。 通用 Docker 容器镜像 ......
（数据科学学习手札147）Python GIS利器shapely全新2.0版本一览
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，我写过很多篇介绍geopandas相关技术的文章，而geopandas之所以如此高效易用，成为Python GIS生态中的翘楚，离 ......
自己动手基于 Redis 实现一个 .NET 的分布式锁类库
分布式锁的核心其实就是采用一个集中式的服务，然后多个应用节点进行抢占式锁定来进行实现，今天介绍如何采用Redis作为基础服务，实现一个分布式锁的类库，本方案不考虑 Redis 集群多节点问题，如果引入集群多节点问题，会导致解决成本大幅上升，因为 Redis 单节点就可以很容易的处理10万并发量了，这 ......
网络编程与通信原理
应用层：HTTP超文本传输协议，基于TCP/IP通信协议来传递数据；传输层：TCP传输控制协议，采用三次握手的方式建立连接，形成数据传输通道；网络层：IP协议，作用是把各种传输的数据包发送给请求的接收方； ......
Backbone 网络-DenseNet 论文解读
在 DenseNet 中，让网络中的每一层都直接与其前面层相连，实现特征的重复利用；同时把网络的每一层设计得特别“窄”（特征图/滤波器数量少），即只学习非常少的特征图（最极端情况就是每一层只学习一个特征图），达到降低冗余性的目的。 ......
二阶段目标检测网络-FPN 详解
FPN(feature pyramid networks) 是何凯明等作者提出的适用于多尺度目标检测算法。原来多数的 object detection 算法（比如 faster rcnn）都是只采用顶层特征做预测，但我们知道低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是... ......
二阶段目标检测网络-Faster RCNN 详解
backbone 为 vgg16 的 faster rcnn 网络结构如下图所示，可以清晰的看到该网络对于一副任意大小 PxQ 的图像，首先缩放至固定大小 MxN，然后将 MxN 图像送入网络。 ......
二阶段目标检测网络-Mask RCNN 详解
Mask RCNN 是作者 Kaiming He 于 2018 年发表的论文。Mask RCNN 继承自 Faster RCNN 主要有三个改进：
1，feature map 的提取采用了 FPN 的多尺度特征网络
2，ROI Pooling 改进为 ROI Align
3，在 RPN 后面，增加了... ......
二阶段目标检测网络-Cascade RCNN 详解
Cascade RCNN 是作者 Zhaowei Cai 于 2018 年发表的论文 Cascade R-CNN: Delving into High Quality Object Detection。Cascade R-CNN 来解决 IoU 选择的问题。它由一系列不断增加 IoU 阈值的检测器组... ......
Python异步爬虫（aiohttp版）
异步协程不太了解的话可以去看我上篇博客：https://www.cnblogs.com/Red-Sun/p/16934843.html PS：本博客是个人笔记分享，不需要扫码加群或必须关注什么的（如果外站需要加群或关注的可以直接去我主页查看） 欢迎大家光临ヾ(≧▽≦*)o我的博客首页https:// ......
分布式注册服务中心etcd在云原生引擎中的实践
作者：王雷 etcd是什么 etcd是云原生架构中重要的基础组件，由CNCF孵化托管。ETCD是用于共享配置和服务发现的分布式，一致性的KV存储系统，是CoreOS公司发起的一个开源项目，授权协议为Apache。etcd 基于Go语言实现，主要用于共享配置，服务发现，集群监控，leader选举，分布 ......
.NET 云原生架构师训练营（基于 OP Storming 和 Actor 的大型分布式架构一）--学习笔记
目录 为什么我们用 Orleans Dapr VS Orleans Actor 模型 Orleans 的核心概念 为什么我们用 Orleans 分布式系统开发、测试的难度（服务发现、通信） 运维的复杂度（伸缩性与可靠性的保障） actor 拥有全局唯一身份 自动伸缩功能 Dapr VS Orlean ......