爬虫 深度request问题
网络问题定位工具记录
网络问题定位工具记录 老王内网发了一篇使用各种工具定位网络丢包问题的文章。 里面的工具我发现都没用过。。。惭愧。。。赶紧补充linux命令知识。 linux的nstat命令是做什么的？输出格式是什么意思？ nstat是一个Linux命令行工具，用于显示网络接口的统计信息，包括TCP、UDP、IP和I ......
非线性优化问题基本形式概述
非线性优化问题以及在视觉SLAM中的应用 1.0 最小二乘基础概念 定义 $\quad$ 找到一个 n 维的变量 $\mathbf{x}^{*} \in \mathbb{R}^{n}$ , 使得损失函数 $F(\mathbf{x})$ 取局部最小值： $$ F(\mathbf{x})=\frac{1 ......
Java处理正则匹配卡死（正则回溯问题）
正则匹配卡死怎么来的？ 背景 背景：这次问题的背景是项目上遇到了，在使用正则对数据进行提取时，发现提取不到，日志解析不成功，造成kafka消息有积压 项目现场问题 项目中某一个微服务再处理正则时，发现在处理部分日志时候，线程会卡死，线程卡死，因此kafka中的消息定会积压，后面的日志即不会处理。关键 ......
【ASP.NET Core】修改Blazor.Server的Hub地址后引发的问题
Blazor Server，即运行在服务器上的 Blazor 应用程序，它的优点是应用程序在首次运行时，客户端不需要下载运行时。但它的代码是在服务器上执行的，然后通过 SignalR 通信来更新客户端的 UI，所以它要求必须建立 Web Socket 连接。 用于 Blazor 应用的 Signal ......
苹果手机H5 video标签播放视频问题以及.mov格式处理方案
最近在做一个手机端拍照上传，并预览文件的功能，前端用h5 video 标签，后端用springboot+minio。 问题 刚开始写代码和测试的时候，都是用的安卓手机，照片和视频都没问题，后来换成用苹果手机后，播放视频就出现各种问题，先是苹果手机拍的mov视频不支持播放，后面又出现苹果手机播放不了视 ......
代码优化与程序加速指南——针对数值优化和深度学习领域
背景 当需要处理规模较大、任务较复杂的优化问题或训练神经网络时，我们经常会遇到程序运行时间长或无法完成的情况。然而，这不一定是由于问题规模大或计算机硬件能力的限制。即使尝试使用更高性能的服务器或计算机，也不能保证能够有效地加速代码运行。因为高性能的硬件通常需要与为高性能计算而设计的代码相匹配。 本文 ......
基于NUXT.JS搭建一款VUE版SSR前端框架（解决SPA应用的SEO优化优化问题）
本文档是从官网文档中摘录的一些重点内容，以及加入了自己的一些调整和对官网内容的理解和解释。适合新手学习，有一定技术水平的宝子，建议直接查看 [NUXT英文官网] ......
在教学中常被问到的几个vue3.x与typescript的问题，统一解答
在教学当中，学生在学习vue3.x时，常常会问到typescript和vue3.x之间的关系，感觉这两个技术总是绑在一起的，下面老赵来统一解答一下： 那学vue3.x，为什么要求也要掌握typescript Vue 3.x是一个使用TypeScript编写的库，它内置了对TypeScript的支持， ......
数据问题排查思路
1、背景 数据开发、数据仓库工作和业务系统开发工作很大的一个不同是，业务系统功能开发一旦完成并通过测试，一般就可以比较稳定地长期运行，因为它的输入是相对稳定的。但是数据仓库开发加工的数据模型、数据指标和分析结论，却很难保持稳定。因为输入数据每天都在源源不断产生，很难保证数据没有大的波动，而输入的不稳 ......
AI 大战 AI，一个深度强化学习多智能体竞赛系统
小伙伴们快看过来！这是一款全新打造的 ⚔️ AI vs. AI ⚔️——深度强化学习多智能体竞赛系统。 这个工具托管在 Space 上，允许我们创建多智能体竞赛。它包含三个元素: 一个带匹配算法的 Space，使用后台任务运行模型战斗。 一个包含结果的 Dataset。 一个获取匹配历史结果和显示模 ......
网络爬虫流程总结
网络爬虫的大体流程其实就是解析网页，爬取网页，保存数据。三个方法，就完成了对网页的爬取，并不是很困难。以下是自己对流程的一些理解和总结，如有错误，欢迎指正。 一、解析网页，获取网页源代码 首先，我们要了解我们要爬取的网页，以豆瓣为例，我们要了解模拟浏览器头部信息，来伪装成浏览器。以及爬取的内容是什么 ......
通过 Pulsar 源码彻底解决重复消费问题
背景 最近真是和 Pulsar 杠上了，业务团队反馈说是线上有个应用消息重复消费。 而且在测试环境是可以稳定复现的，根据经验来看一般能稳定复现的都比较好解决。 定位问题 接着便是定位问题了，根据之前的经验让业务按照这几种情况先排查一下： 通过排查：1,2可以排除了。 没有相关日志 存在异常，但最外层 ......
解决golang 的内存碎片问题
解决golang 的内存碎片问题 本文译自Why I encountered Go memory fragmentation? How did I resolve it?，作者通过分析golang的堆管理方式，解决了内存碎片的问题。 背景 我们的团队正在搭建运行一个兼容Prometheus的内存时序 ......
高并发环境下生成序列编码重复问题分析
一、背景 有个业务系统（订单系统），通过后台日志和监控观察，系统偶尔会出现重复唯一索引问题，例如：后台日志片段 Duplicate entry 'service_no' for key 'idx_service_no' .... 也就是说写入数据与数据库已有数据发生重复。 下面我们分析一下问题出现在 ......
使用go的并发性来解决Hilbert酒店问题
译自：Designing for Concurrency: the Hilbert’s Hotel Problem in Go，本文使用go的并发性来解决Hilbert酒店问题。本文比较有意思的是它对问题的描述很吸引人，在看完文字描述之后，代码实现逻辑也基本顺理成章，当然代码本身的实现也相当优雅。 ......
RabbitMQ真实生产故障问题还原与分析
RabbitMQ生产故障问题分析 由某一次真实生产环境rabbitMQ故障引发血案，下面复盘问题发生原因以及问题解决方法。 1、 问题引发 由某个服务BI-collector-xx队列出现阻塞，影响很整个rabbitMQ集群服务不可用，多个应用MQ生产者服务出现假死状态，系统影响面较广，业务影响很大 ......
requests模块
爬虫是什么？；爬虫就是程序 >从互联网中，各个网站上，爬取数据【前提是：你能浏览的页面才能爬】，做数据清洗，保存到数据库的过程。 爬虫本质：模拟方式发送http请求、然后获取数据、再做数据清洗、最后保存到数据库 爬虫的重点：如何发送http请求？如何解析数据？ 本篇爬虫知识主要包括(不会一次性写完， ......
深度学习模型压缩方法概述
我们知道，一定程度上，网络越深，参数越多，模型也会越复杂，但其最终效果也越好，而模型压缩算法是旨在将一个庞大而复杂的大模型转化为一个精简的小模型。之所以必须做模型压缩，是因为嵌入式设备的算力和内存有限，经过压缩后的模型方才能部署到嵌入式设备上。工业界的模型压缩方法有：知识蒸馏、轻量化模型架构、剪枝、... ......
轮播图接口加缓存和定时更新(双写一致性问题以及其解决方案)
一、轮播图加缓存 有些知名网站首页被访问的频率很高，假设瞬间 1w个人在访问，首页的轮播图接口会执行1w次，1w次查询轮播图标的sql在执行，轮播图基本不变，首先我们给自己写的轮播图接口加缓存，我们可以用缓存数据库Redis来实现加缓存的需求 首先罗列一下文字版的逻辑，之后在代码上实现 当轮播图接口 ......
javaEE Web(Tomcat)深度理解 和 Servlet的本质
javaEE Web(Tomcat)深度理解 和 Servlet的本质 每博一文案 我所有的进步，只为更接近你。 上天没有给予人们公平的人生，有人拥有出奇的才能，便有人只能不辞辛苦的攀登阶梯，我默默地守望着一缕光芒，小心翼翼，如掬如束，可若长久凝望，一点会让自己，也受烫灼。 平凡的人生或是悲惨的际遇 ......
C++ 深度优先搜索(DFS) 讲解
1 DFS初步概念 DFS是一种深度搜索算法，它的特点是"不撞南墙不回头"，运用递归对不同方向的结果进行搜索。 2 DFS例题-迷宫游戏 2.1 题目描述 这是一个迷宫游戏，有一个$n \times n$的矩阵，矩阵内只能有#或.这两种字符，如果是#则是墙，如果是.则是可以走的路。起点是左上角，终点 ......
ArchKeeper (开篇)：架构守护平台的问题与理念
在敏捷开发环境下，系统通过迭代增量的交付价值，系统架构也是如此。团队不可能在项目之初就建立完美的系统架构，系统架构应该随着系统迭代不断演进。架构演进和架构腐化是看待架构的不同视角：架构腐化着眼于现状，架构演进侧重于未来架构腐化不可避免，随着时间流转腐化现象必然发生。而我们需要做的是：通过某种方式及早... ......
【LeetCode回溯算法#07】子集问题I+II，巩固解题模板并详解回溯算法中的去重问题
子集 力扣题目链接 给你一个整数数组 nums ，数组中的元素 互不相同 。返回该数组所有可能的子集（幂集）。 解集 不能 包含重复的子集。你可以按 任意顺序 返回解集。 示例 1： 输入：nums = [1,2,3] 输出：[[],[1],[2],[1,2],[3],[1,3],[2,3],[1, ......
【LeetCode回溯算法#08】递增子序列，巩固回溯算法中的去重问题
递增子序列 力扣题目链接(opens new window) 给定一个整型数组, 你的任务是找到所有该数组的递增子序列，递增子序列的长度至少是2。 示例 1： 输入：nums = [4,6,7,7] 输出：[[4,6],[4,6,7],[4,6,7,7],[4,7],[4,7,7],[6,7],[6 ......
【LeetCode二叉树#17】在二叉搜索树中插入或删除某个值（涉及重构二叉树、链表基础、以及内存泄漏问题）
二叉搜索树中的插入操作 力扣题目链接(opens new window) 给定二叉搜索树（BST）的根节点和要插入树中的值，将值插入二叉搜索树。 返回插入后二叉搜索树的根节点。 输入数据保证，新值和原始二叉搜索树中的任意节点值都不同。 注意，可能存在多种有效的插入方式，只要树在插入后仍保持为二叉搜索 ......
深度优先搜索算法-dfs讲解
迷宫问题 有一个迷宫： S**. .... ***T （其中字符S表示起点，字符T表示终点，字符*表示墙壁，字符.表示平地。你需要从S出发走到T，每次只能向上下左右相邻的位置移动，不能走出地图，也不能穿过墙壁，每个点只能通过一次。） 现在需要你求出是否可以走出这个迷宫 我们将这个走迷宫过程称为dfs ......
关于这个“微信提现”的问题，太炸裂了，以至于我写了段代码来验证！
你好呀，我是歪歪。 周末的时候，我在网上看到一个关于微信钱包提现时，手续费收取的一个问题。 说真的，就这个问题吧，我个人觉得，放眼整个金融界，乃至于整个弱智吧，甚至于整个东半球，这都是一个相当炸裂的问题啊。 一时间，我居然恍惚了起来：一眼看去，漏洞百出。但是仔细分析之后，居然 TMD 无懈可击？！ ......
Spring事务（Transaction）管理高级篇一栈式解决开发中遇到的事务问题
Spring是目前Java开发中最流行的框架了，它的事务管理我们在开发中常常的用到，但是很多人不理解它事务的原理，导致开发中遇到事务方面的问题往往都要用很长的时间才能解决，下面就带着大家去深入了解Spring的事务，然后文章的最后还会给出开发中常常遇到的问题以及解决方案。 如果单纯的用Spring框 ......
chatGPT帮助开发实战解答问题和反思
问题来自.Net开发群友 问题 我想做一个自动生成单据号的功能，但是在EFCORE里没有行级锁，请有什么等价方案吗？ ChatGPT回答 在 EF Core 中确实没有提供行级锁（row-level locking）的功能，因为这需要对数据库进行显式的锁定操作，而 EF Core 的设计理念是尽可能 ......
python requests 最牛攻略
Requests 是一个 Python 的一个第三方库，通过发送 HTTP 请求获取响应数据，一般应用于编写网络爬虫和接口测试等。 相比 urllib 库，它语法简单，更容易上手。 官方中文文档地址：Requests: 让 HTTP 服务人类 离线文档下载地址：Requests document d ......