爬虫 洪流 实战 网页
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
MySQL运维实战（1.2）安装部署：使用二进制安装部署
作者：俊达 引言 上一篇我们使用了RPM进行安装部署，这是一种安装快速、简化部署和管理过程、与操作系统提供的包管理工具紧密集成的部署方法。此外，当你需要更高的灵活性和自定义性，并且愿意承担一些额外的手动配置和管理工作，那么二进制安装是一个值得考虑选择。 以下是二进制安装的一些优势： 处理单机多实例： ......
爬虫
用with读取文件 # './素材/三国演义.html'是文件路径，'r'表示读取模式，encoding='UTF-8'指定编码为UTF-8 with open('./素材/三国演义.html', mode='r', encoding='UTF-8') as file: # 读取文件内容并将其保存在 ......
MySQL运维实战（1.1）安装部署：使用RPM进行安装部署
作者：俊达 我们在生产环境部署mysql时，一般很少使用RedHat Package Manager(RedHat软件包管理工具)。用rpm或或者其他包管理器安装mysql有其好处，例如安装简单，并且许多系统可能已经自带了某个版本的MySQL。 当然，使用RPM安装也存在一些缺点： 1、rpm依赖包 ......
大模型实战营第一课心得笔记
1、了解专用模型和通用大模型，以及书生浦语大模型开源历程、轻量级、中量级以及重量级三种不同大模型系列，和其他大模型的性能对比。 2、了解从模型到应用的主要步骤以及书生大模型各步骤采取的主要技术，如训练数据，预训练、微调、开源评测体系等。 3、现有的疑问：书生中量级的使用商业成本以及具体功能性能表现， ......
Python爬虫-排行榜数据爬取
前言开始接触 CTF 网络安全比赛发现不会写 Python 脚本的话简直寸步难行……故丢弃 Java 学习下 Python 语言，但单纯学习语法又觉得枯燥……所以从 Python 爬虫应用实战入手进行学习 Python。本文将简述爬虫定义、爬虫基础、反爬技术 和 CSDN博客排行榜数据爬取实战。 网 ......
python爬虫算法深度优先遍历_爬虫基础 之深度优先，广度优先策略
1.深度优先递归方式; import re import requests headers = { 'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom ......
爬虫01
微服务学的蛮多的 笔记没传 就这样吧 爬虫 基础01 1.爬虫分类 通用爬虫： 聚焦爬虫 功能爬虫 增量式爬虫 分布式爬虫 2.requests基础操作 1.环境安装 案例1 搜狗首页数据和持续存储 import requests url = 'https://www.sogou.com/' r = ......
ASR项目实战-交付过程中遇到的内核崩溃问题
当前参与交付的语音识别产品服务，算法模块基于经典的Kaldi，算法中的一部分运行在GPU之上。 算法团队采用的是声学模型+语言模型的1-pass方案。这个方案的特点在于，语言模型数据文件（HCLG文件）的大小，和训练语料的丰富程度正相关，即语言文本的语料越多，经过训练、转换后得到的语言模型文件越大。 ......
在云服务器搭建简单网页hello word!
先获取公网IP地址 登录后 sudo apt install nginx mkdir web # 改为你想要放的地址，记得不能是root目录下 cd web vim index.html # 编辑网页 往里面写入简单的hello word！ <!DOCTYPE html> <html> <head> ......
react打包优化，使用cdn加载第三方库，cdn加速网页
1、安装 pnpm install html-webpack-externals-plugin customize-cra react-app-rewired 2、在项目根目录下新建config-overrides.js文件,package.json中改为react-app-rewired 启动和打 ......
指定url和深度的广度优先算法爬虫的python实现
广度优先算法介绍 整个的广度优先爬虫过程就是从一系列的种子节点开始，把这些网页中的"子节点"(也就是超链接)提取出来，放入队列中依次进行抓取。被处理过的链接需要放 入一张表(通常称为Visited表)中。每次新处理一个链接之前，需要查看这个链接是否已经存在于Visited表中。如果存在，证明链接已经 ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
商智C店H5性能优化实战
前言 商智C店，是依托移动低码能力搭建的一个应用，产品面向B端商家。随着应用体量持续增大，考虑产品定位及用户体验，我们针对性能较差页面做了一次优化，并取得了不错的效果，用户体验值（UEI）从一般提升到良好。本文详细记录了优化思路及过程，期望给正在或打算做用户体验提升的小伙伴提供一些参考。 一、性能优 ......
网页CAD中选择图形进行编辑（WEB CAD SDK）
前言 在网页修改DWG，经常会有对图形进行编辑以及对图形的夹点进行编辑的需求，MxCAD提供的在线版CAD提供了这样的功能，效果如下： 功能测试地址：https://demo.mxdraw3d.com:3000/mxcad/ 选择图形编辑功能 mxcad在默认配置下是开启了选择图形的编辑功能, 我们 ......
ASR项目实战-交付过程中遇到的疑似内存泄漏问题
基于Kaldi实现语音识别时，需要引入一款名为OpenFST的开源软件，本文中提到的内存问题，即和这款软件相关。 考虑到过程比较曲折，内容相对比较长，因此先说结论。 在做长时间的语音识别时，集成了Kaldi和OpenFST的进程将会占用远超出预期的内存，这个现象可能和OpenFST、glibc的实现 ......
Redis 性能优化实战
Redis 作为内存数据库，其性能表现非常出色，单机 OPS 很容易达到 10万以上，这主要得益于其高效的内存数据结构、单线程无锁设计、IO 多路复用等技术实现。但是在线上生产环境的使用中，我们仍然会发现在使用 Redis 的时候其性能和预期是不符的，例如出现了明显的延迟等，如果我们能从 Redis ......
叫板GPT-4的Gemini，我做了一个聊天网页，可图片输入，附教程
先看效果： 简介 Gemini 是谷歌研发的最新一代大语言模型，目前有三个版本，被称为中杯、大杯、超大杯，Gemini Ultra 号称可与GPT-4一较高低： Gemini Nano(预览访问) 为设备端体验而构建的最高效模型,支持离线使用场景。 Gemini Pro（已推出） 性能最佳的模型,具 ......
Python性能测试框架Locust实战教程
01、认识Locust Locust是一个比较容易上手的分布式用户负载测试工具。它旨在对网站（或其他系统）进行负载测试，并确定系统可以处理多少个并发用户，Locust 在英文中是 蝗虫 的意思：作者的想法是在测试期间，放一大群 蝗虫 攻击您的网站。当然事先是可以用 Locust 定义每个蝗虫（或测试 ......
前端与爬虫
搜索爬虫, 我们会搜到一大堆 Python 相关的结果 问题: 爬虫和前端有关系吗? 爬虫是什么 爬虫程序是一种计算机程序，旨在通过执行自动化或重复性任务来模仿或替代人类的操作。 爬虫程序执行任务的速度和准确性比真实用户高得多。爬虫程序类型众多，可执行各种任务，并且爬虫程序在互联网流量中的比重也越来 ......
网页在线预览编辑Office，支持doc/docx、xls/xlsx、ppt/pptx、pdf等格式
随着互联网技术的不断发展，越来越多的企业开始采用在线办公模式，微软Office Word 是最好用的文档编辑工具，然而doc、docx、xls、xlsx、ppt、pptx等格式的Office文档是无法直接在浏览器中直接打开的，如果可以实现Web在线预览编辑OffIce，肯定会还带来了更高效、便捷的办 ......
实战博彩站点-从弱口令到提权
0x00 前言我们的小团队对偶然发现的bc站点进行的渗透,从一开始只有sqlmap反弹的无回显os-shell到CS上线,到配合MSF上传脏土豆提权,到拿下SYSTEM权限的过程,分享记录一下渗透过程0x01 登录框sql注入看到登录框没什么好说的,先试试sqlmap一把梭burp抓包登录请求,保存 ......
记一次被骗花呗背后骗局的渗透实战
0X00 事情起因 大街上偶遇预存话费3999送平板被套路，支付宝被一顿操作又套现又转账的把我花呗都套走了。回到家越发越觉得不对劲，越发越后悔，网上一搜关于这类的活动一抓一大把而且一模一样越看是越生气啊。 最主要的呢，送的平板也是八百多的根本不值预存话费的这个价，且居然有卡死的现象，于是乎我决定深挖 ......
记一次BC推广渗透实战
0x00 信息搜集朋友给了我一个站，算一个比较大的bc，主站看了一下，没有入口，就换了他的一个推广平台然后首先大致扫了一下目录，希望可以看见一些有用的东西。这个时候我可以推荐大家一个接口，可以快速大致看看他重要的文件https://scan.top15.cn/web/infoleak例如探针，网站源 ......
记一次帮助粉丝渗透某盘反诈骗的实战
0X00 事情由来了解完事情的经过，经过我的经验判断，这应该是个杀猪诈骗案例诈骗份子通过一些手段让受害人相信，通过他们可以赚钱并诱导充值杀猪盘赌博0X01 渗透过程-大概二十分钟左右就拿下了渗透过程简单枯燥：看了一眼IP和端口，判断了下应该不存在云waf，直接开始扫目录过了几分钟扫到一个http:/ ......
01-认识爬虫
requests模块快速使用 #介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib(内置模块)，requests模块的api更加便捷（本质就是封装了urllib3） # 注意：requests库发送请求将网页内容下载下来以后，并不会执行js代码，这需要我们自己分析目标站点然后 ......
02-爬虫的高阶使用
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = ......
感觉还是要专业的网页干专业的事情
查找matlab有关的函数，还得是matlab的官网给力 https://ww2.mathworks.cn/help/control/ref/tf.html?searchHighlight=tf&s_tid=srchtitle_support_results_1_tf，内容如下： ......
【积微成著】性能测试调优实战与探索（存储模型优化+调用链路分析）| 京东物流技术团队
一、前言 性能测试之于软件系统，是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线，系统能力设计工作与性能测试工作，既有先后之顺序，亦有相互之影响。以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。 在性 ......
PC端网页等比例在手机端显示
APP.vue methods: { bodyScale() { let devicewidth = document.documentElement.clientWidth //获取当前分辨率下的可是区域宽度 let scale = devicewidth / 1920 // 分母——设计稿的尺寸 ......