源码probe ns
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
用Gradle构建spring源码项目
版本： JDK 1.8 Gradle ：gradle-5.6.3-all.zip Spring 5.2.1 1.配置JDK环境和配置Gradle环境，这个就不说了网上一大片都是。 2.下载源码：git clone -b 5.2.1 https://github.com/spring-projects ......
几步完成Python爬虫采集附源码
对于长期做爬虫行业的程序员我来说，现在随便编写一个爬虫程序也只是分分钟的事情，这次我编辑一个有关图文采集的爬虫，从试错到下载保存等一些列重点全部都写入下面的文章中希望大家避坑。 这里应用self.log简单的做了一下运行日志的处理和记录！ 几个关键点： 1、常规操作，访问出错重试 这里仅仅是简单的写 ......
《渗透测试》Web应用&源码泄漏&开源闭源&指纹识别&GIT&SVN&DS&备份 2023 Day13
#后端-开源-指纹识别-源码下载 CMS识别见上述项目 #后端-闭源-配置不当-源码泄漏 参考：https://www.secpulse.com/archives/124398.html 备份：敏感目录文件扫描 CVS：https://github.com/kost/dvcs-ripper GIT： ......
TheadLocal源码分析
TheadLocal源码分析 源码思维导图:https://www.processon.com/view/link/64194d2bc707d756390b0e40 demo案例 @Test public void testThread() throws InterruptedException { ......
c#使用RabbitMQ.Client源码
生产者代码： using RabbitMQ.Client; using System.Text; //创建rabbit mq连接基础设置 var factory = new ConnectionFactory() { HostName = "127.0.0.1", UserName = "admin ......
Mybatis源码(八)：查询执行流程
在Mybatis源码(七)：SQL执行流程中已提到，根据不同的sqlCommandType执行不同类型的SQL，下面来看看调用Mapper接口的查询，Mybatis中做了哪些处理。 UserMapper mapper = sqlSession.getMapper(UserMapper.class); ......
在线直播系统源码，顶部标题栏的隐藏和显示、标题修改
在线直播系统源码，顶部标题栏的隐藏和显示、标题修改 1、顶部标题栏的隐藏： 在我们的project工程下，找到“values”文件夹下的“themes.xml”或“styles.xml”文件（文件位置一致，后者优先级更高），然后把以下代码 <style name="Theme.Intelligent ......
drf-jwt源码分析以及自定义token签发认证、alc和rbac
1.drf-jwt源码执行流程 1.1 签发(登录) 1.代码: urls.py: from rest_framework_jwt.views import obtain_jwt_token urlpatterns = [ path('login/',obtain_jwt_token), ] 2.我 ......
Yolov5——训练目标检测模型详解（含完整源码）
项目的克隆 打开yolov5官网（GitHub - ultralytics/yolov5 at v5.0），下载yolov5的项目： 环境的安装（免额外安装CUDA和cudnn） 打开anaconda的终端，创建新的名为yolov5的环境（python选择3.8版本）： conda create - ......
太坑了，我竟然从RocketMQ源码中扒出了7种导致消息重复消费的原因
大家好，我是三友~~ 在众多关于MQ的面试八股文中有这么一道题，“如何保证MQ消息消费的幂等性”。 为什么需要保证幂等性呢？是因为消息会重复消费。 为什么消息会重复消费？ 明明已经消费了，为什么消息会被再次被消费呢？ 不同的MQ产生的原因可能不一样 本文就以RocketMQ为例，来扒一扒Rocket ......
Tars-Java网络编程源码分析
作者：vivo 互联网服务器团队- Jin Kai 本文从Java NIO网络编程的基础知识讲到了Tars框架使用NIO进行网络编程的源码分析。 一、Tars框架基本介绍 Tars是腾讯开源的支持多语言的高性能RPC框架，起源于腾讯内部2008年至今一直使用的统一应用框架TAF（Total Appl ......
JUC源码学习笔记8——ConcurrentHashMap源码分析1 如何实现低粒度锁的插入，如何实现统计元素个数，如何实现并发扩容迁移
源码基于jdk1.8 这一片主要讲述ConcurrentHashMap如何实现低粒度锁的插入，如何实现统计元素个数，如何实现并发扩容迁移 系列文章目录和关于我 一丶ConcurrentHashMap概述 支持高并发读写的哈希表，ConcurrentHashMap中每一个方法都是线程安全的，并且读数据 ......
从源码彻底理解 Prometheus/VictoriaMetrics 中的 relabel_configs/metric_relabel_configs 配置
背景 最近接手维护了公司的指标监控系统，之后踩到坑就没站起来过。。 本次问题的起因是我们配置了一些指标的删除策略没有生效： - action: drop_metrics regex: "^envoy_.*|^url\_\_\_\_.*|istio_request_bytes_sum" 与这两个容易引 ......
解读 Servlet 源码：GenericServlet，ServletConfig，ServletContext
解读 Servlet 源码：GenericServlet，ServletConfig，ServletContext 每博一文案 人活着，就得随时准备经受磨难。他已经看过一些书，知道不论是普通人还是了不起的人，都要在自己的一生中经历许多磨难。磨难使人坚强。 人和社会、一切斗争的总结局也许都是中庸而已。 ......
深入理解 Python 虚拟机：集合（set）的实现原理及源码剖析
在本篇文章当中主要给大家介绍在 cpython 虚拟机当中的集合 set 的实现原理（哈希表）以及对应的源代码分析。 ......
idea导入tomcat8源码搭建源码调试环境
从apache tomcat下载tomcat8源码 1.下载到源码后，tomcat默认使用ant作为包管理工具，本地调试时创建pom.xml， 手动创建一个pom.xml放入源码根目录 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="ht ......
mybatis源码-注解sql
Mybatis-注解sql Demo 主启动类 public class MybatisHelloWorld { public static void main(String[] args) throws Exception { String resource = "org/mybatis/conf ......
Masa Framework源码解读-02缓存模块（分布式缓存进阶之多级缓存）
序言 今天这篇文章来看看Masa Framework的缓存设计，上一篇文章中说到的MasaFactory的应用也会在这章节出现。文章中如有错误之处还请指点，咱们话不多说，直入主题。 Masa Framework缓存简介 MASA Framework源码地址：https://github.com/ ......
通过 Pulsar 源码彻底解决重复消费问题
背景 最近真是和 Pulsar 杠上了，业务团队反馈说是线上有个应用消息重复消费。 而且在测试环境是可以稳定复现的，根据经验来看一般能稳定复现的都比较好解决。 定位问题 接着便是定位问题了，根据之前的经验让业务按照这几种情况先排查一下： 通过排查：1,2可以排除了。 没有相关日志 存在异常，但最外层 ......
从源码MessageSource的三个实现出发实战spring·i18n国际化
从源码去看MessageSource的几个实现类的源码出发，基于spring的国际化支持，实现国际化的开箱即用，静态文件配置刷新生效以及全局异常国际化处理。 ......
SpringMVC基础源码分析（一）
实现Controller的三种方式分析 每种实现的方式对应的HanderAdapter都不同。 实现Controller接口 该接口对应的HanderAdapter为SimpleControllerHandlerAdapter。 使用案列： public class LeController imp ......
我们为什么要阅读webpack源码
相信很多人都有这个疑问，为什么要阅读源码，仅仅只是一个打包工具，会用不就行了，一些配置项在官网，或者谷歌查一查不就好了吗，诚然在大部分的时候是这样的，但这样在深入时也会遇到以下几种问题。 webpack 配置繁琐，具有 100 多个内置插件，200 多个钩子函数，在保持灵活配置的同时，也把问题抛给了 ......
Gin使用及源码简析
1. Gin简介 前面通过两篇文章分享了Golang HTTP编程的路由分发、请求/响应处理。 Golang HTTP编程及源码解析-路由分发 Golang HTTP编程及源码解析-请求/响应处理 可以看出来Golang原生HTTP编程在路由分组、动态路由及参数读取/验证、构造String/Data ......
Apache HttpClient使用和源码分析
在上文中分析了 HttpURLConnection的用法，功能还是比较简单的，没有什么封装 接下来看看Apache HttpClient是如何封装httpClient的 使用的版本 <dependency> <groupId>org.apache.httpcomponents.client5</gr ......
通过源码分析RocketMQ主从复制原理
RocketMQ是一个纯Java、分布式、队列模型的开源消息中间件，具有高性能、高可靠、高实时、分布式特点。本篇文章通关源码分析深入地介绍了RocketMQ主从复制原理。 ......
深入理解 Python 虚拟机：整型（int）的实现原理及源码剖析
在本篇文章当中主要给大家介绍在 cpython 内部是如何实现整型数据 int 的，主要是分析 int 类型的表示方式，分析 int 类型的巧妙设计。 ......
深入理解 Python 虚拟机：复数（complex）的实现原理及源码剖析
在本篇文章当中主要给大家介绍在 cpython 虚拟机当中是如何实现 复数 complex 这个数据类型的，这个数据类型在 cpython 当中一应该是一个算比较简单的数据类型了，非常容易理解。 ......
OpenMP task construct 实现原理以及源码分析
在本篇文章当中主要给大家介绍在 OpenMP 当中 task 的实现原理，以及他调用的相关的库函数的具体实现。在本篇文章当中最重要的就是理解整个 OpenMP 的运行机制。 ......
深入理解 Python 虚拟机：列表（list）的实现原理及源码剖析
在本篇文章当中主要给大家介绍 cpython 虚拟机当中针对列表的实现，在 Python 中，List 是一种非常常用的数据类型，可以存储任何类型的数据，并且支持各种操作，如添加、删除、查找、切片等，在本篇文章当中将深入去分析这一点是如何实现的。 ......