中间件 实战selenium scrapy
中间件 ZK分布式专题与Dubbo微服务入门 2-2 zookeeper下载、安装
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12686 1 重点关注 1.1 zookeeper的安装 下载zookeeper 在以下链接下载3.4.11 http://archive.apache.org/dist/zookeeper/ ......
中间件 ZK分布式专题与Dubbo微服务入门 2-1 JDK的安装（linux）
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12684 1 重点关注 1.1 jdk的安装 下载jdk 用fileZilla上传jdk到linux环境 home路径下 在home路径下解压压缩包 tar -zxvf jdk-8u202-1i ......
ASR项目实战-交付过程中遇到的内核崩溃问题
当前参与交付的语音识别产品服务，算法模块基于经典的Kaldi，算法中的一部分运行在GPU之上。 算法团队采用的是声学模型+语言模型的1-pass方案。这个方案的特点在于，语言模型数据文件（HCLG文件）的大小，和训练语料的丰富程度正相关，即语言文本的语料越多，经过训练、转换后得到的语言模型文件越大。 ......
2024年了，为何 Selenium 依然这么火？
今天给大家带来的主题是自动化测试框架Selenium，话不多说，直接开始！ 1.什么是 Selenium 自动化测试 Jason Huggins 于 2004 年创建了一个 JavaScript 框架，旨在将其从重复的手动测试中解放出来。 最初命名为 JavaScriptTestRunner 的产品 ......
scrapy爬取图片时遇到错误：ValueError: Missing scheme in request url: //scpic3.chinaz.net/Files/pic/pic9/202103
错误原因是在请求资源的时候没有使用完整的url只向//scpic3.chinaz.net/Files/pic/pic9/202103发送了资源请求，而完整的资源地址需要前面加上https:所以在pipelines.py文件的get_media_requests方法中，在发送request请求时修改为 ......
Selenium | 控制已打开的浏览器-python-chrome
实现这个有两个步骤：1. 打开浏览器 2. 在python中编写代码控制此打开的浏览器 第一步：打开浏览器也有两种方式 方式一：用命令打开 操作步骤： 1）右键点击chrome的快捷图标， 复制出起始位置 2）进入到环境变量-系统变量-找到path， 双击编辑，把起始位置复制进去 3）打开cmd命令 ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
日志记录升级(中间件全局日志)
1.继承IExceptionFilter只是用于记录全局异常异常日志，现在我想记录每个请求的日志并且入库。 需要用到IAsyncActionFilter，继承该接口，用于记录每一个action方法的请求信息，作用是记录每个操作的记录，简单点来讲就是记录哪个人调用了哪个方法。 添加一个继承该接口的过滤 ......
[Express]全局使用中间件
中间件可用于对req和res的预处理。 app.js //导入express const express = require('express'); // 导入路由 const router = require('./router') const bodyParser = require('body ......
商智C店H5性能优化实战
前言 商智C店，是依托移动低码能力搭建的一个应用，产品面向B端商家。随着应用体量持续增大，考虑产品定位及用户体验，我们针对性能较差页面做了一次优化，并取得了不错的效果，用户体验值（UEI）从一般提升到良好。本文详细记录了优化思路及过程，期望给正在或打算做用户体验提升的小伙伴提供一些参考。 一、性能优 ......
29、Scrapy框架使用
Scrapy的功能强大，爬取效率高，相关扩展组件多，可配置和可拓展程度非常高。基于Twisted的异步处理框架，是纯python实现的爬虫框架，架构清晰，模块之间耦合度低，可扩展型极强，可以灵活完成各种需求。Scrapy架构重要组成：Engine：引擎，处理系统的数据流数据、触发事务，框架核心。It ......
ASR项目实战-交付过程中遇到的疑似内存泄漏问题
基于Kaldi实现语音识别时，需要引入一款名为OpenFST的开源软件，本文中提到的内存问题，即和这款软件相关。 考虑到过程比较曲折，内容相对比较长，因此先说结论。 在做长时间的语音识别时，集成了Kaldi和OpenFST的进程将会占用远超出预期的内存，这个现象可能和OpenFST、glibc的实现 ......
Redis 性能优化实战
Redis 作为内存数据库，其性能表现非常出色，单机 OPS 很容易达到 10万以上，这主要得益于其高效的内存数据结构、单线程无锁设计、IO 多路复用等技术实现。但是在线上生产环境的使用中，我们仍然会发现在使用 Redis 的时候其性能和预期是不符的，例如出现了明显的延迟等，如果我们能从 Redis ......
Python性能测试框架Locust实战教程
01、认识Locust Locust是一个比较容易上手的分布式用户负载测试工具。它旨在对网站（或其他系统）进行负载测试，并确定系统可以处理多少个并发用户，Locust 在英文中是 蝗虫 的意思：作者的想法是在测试期间，放一大群 蝗虫 攻击您的网站。当然事先是可以用 Locust 定义每个蝗虫（或测试 ......
实战博彩站点-从弱口令到提权
0x00 前言我们的小团队对偶然发现的bc站点进行的渗透,从一开始只有sqlmap反弹的无回显os-shell到CS上线,到配合MSF上传脏土豆提权,到拿下SYSTEM权限的过程,分享记录一下渗透过程0x01 登录框sql注入看到登录框没什么好说的,先试试sqlmap一把梭burp抓包登录请求,保存 ......
记一次被骗花呗背后骗局的渗透实战
0X00 事情起因 大街上偶遇预存话费3999送平板被套路，支付宝被一顿操作又套现又转账的把我花呗都套走了。回到家越发越觉得不对劲，越发越后悔，网上一搜关于这类的活动一抓一大把而且一模一样越看是越生气啊。 最主要的呢，送的平板也是八百多的根本不值预存话费的这个价，且居然有卡死的现象，于是乎我决定深挖 ......
记一次BC推广渗透实战
0x00 信息搜集朋友给了我一个站，算一个比较大的bc，主站看了一下，没有入口，就换了他的一个推广平台然后首先大致扫了一下目录，希望可以看见一些有用的东西。这个时候我可以推荐大家一个接口，可以快速大致看看他重要的文件https://scan.top15.cn/web/infoleak例如探针，网站源 ......
记一次帮助粉丝渗透某盘反诈骗的实战
0X00 事情由来了解完事情的经过，经过我的经验判断，这应该是个杀猪诈骗案例诈骗份子通过一些手段让受害人相信，通过他们可以赚钱并诱导充值杀猪盘赌博0X01 渗透过程-大概二十分钟左右就拿下了渗透过程简单枯燥：看了一眼IP和端口，判断了下应该不存在云waf，直接开始扫目录过了几分钟扫到一个http:/ ......
中间件 ZK分布式专题与Dubbo微服务入门 1-3 分布式系统的瓶颈以及zk的相关特性
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12661 1 重点关注 1.1 zk的相关特性 2 课程内容 2.1 zk的相关特性 一致性:数据一致性，数据按照顺序分批入库原子性:事务要么成功要么失败，不会局部化 单一视图:客户端连接集群中 ......
06-scrapy的使用
scrapy解析数据 # 运行爬虫程序 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) ### ......
07-scrapy的高阶用法
爬虫中间件和下载中间件 爬虫中间件 # 第一步：写个爬虫中间件类 class ScrapyDemoSpiderMiddleware: @classmethod def from_crawler(cls, crawler): # This method is used by Scrapy to cre ......
05-打码平台的使用、scrapy介绍安装
打码平台 数字字母类的验证码可以使用python模块：ddddocr 计算题，成语题，滑块。。。：第三方打码平台，人工操作 打码平台 -云打码，超级鹰 超级鹰SDK import requests from hashlib import md5 class ChaojiyingClient(obje ......
03-selenium的使用
搜索文档数 find_all：找所有，返回列表 find：找一个 Tag对象 from bs4 import BeautifulSoup import re html_doc = """ <html><head><title>The Dormouse's story</title></head> < ......
04-selenium等待元素加载、元素使用、xpath的使用
selenium等待元素加载 # 代码操作非常快 》有的标签还没加载 》找就找不到 》就会报错 # 设置等待：显示等待，隐士等待 bro.implicitly_wait(10) # 找某个标签，如果找不到，最多等待10s selenium元素操作 # 点击操作 click() # 写文字 send_ ......
【积微成著】性能测试调优实战与探索（存储模型优化+调用链路分析）| 京东物流技术团队
一、前言 性能测试之于软件系统，是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线，系统能力设计工作与性能测试工作，既有先后之顺序，亦有相互之影响。以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。 在性 ......
算法题 1 【找到数组的中间位置】
题目： 给你一个下标从 0 开始的整数数组 nums ，请你找到 最左边 的中间位置 middleIndex （也就是所有可能中间位置下标最小的一个）。 中间位置 middleIndex 是满足 nums[0] + nums[1] + ... + nums[middleIndex-1] == num ......
Selenium（2）
一、安装Selenium pip install selenium 二、八大元素定位 要想操作 Web 界面上的元素，首先要定位到该元素，Selenium 提供了定位元素的 API,这些方法都被定义在 WebDriver 类中，这些方法都以 find 开头。一共有如下八种： from time ......
Selenium（3）
一、特殊元素 1.有些元素它是不可见的( div ) style='display:none' 2.有些元素是隐藏的 hidden 3.有些元素是不可用的 disabled=disabled 灰色 4.有些元素是不可编辑的 readonly=readonly ... 二、特殊场景 1.frame/i ......
DeepSpeed 学习 [2]: 从 0 开始 DeepSpeed 实战
从 0 开始 DeepSpeed 实战，Get Start 目录从 0 开始 DeepSpeed 实战，Get StartDDP 初探Minimum DDP ExampleMULTI GPU TRAINING WITH DDP (Single to Multi)Install初始化TrainingM ......
Selenium（1）
一、Selenium简介Selenium是一个用于Web 应用程序的自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。 主要功能包括：测试与浏览器的兼容性（测试你的应用程序是否能够很好的工作在不同浏览器和操作系统之上）。测试系统功能（创建回归测试检验软件功能和用户需求 ......