架构 整体 信息
爬虫相关 scrapy架构介绍、scrapy解析数据、settings相关配置，提高爬取效率、持久化方案、全站爬取cnblogs文章、
==scrapy架构介绍== # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, ......
jmeter运行日志 报错信息排查
023-03-21 16:08:23,712 ERROR o.a.j.u.BeanShellInterpreter: Error invoking bsh method: eval Sourced file: inline evaluation of: ``import java.util.*; i ......
【信息化】在企业信息化转型过程中的经历和思考
工作经验只有4年不到，但是经历的确实不少，曾经以为我会一直做一名程序员到退休，其中发生了很多事情，然而还是决定转到甲方信息化岗位上。最近1年多，一直都在国企从事信息化方面的工作，也获得了自己的一些思考和心得体会。个人理解，信息化岗其实需要强烈的责任感，干的好和干的差其实对公司的影响并不大，你其实有啥 ......
请求信息十六进制显示、请求信息ASCll码显示
请求信息十六进制显示 代码案例： private static String byteArr2HexStr(byte[] buf,int len){ StringBuffer sbuffer = new StringBuffer(); int cnt = 0; for (int i=0;i<len; ......
导师信息收集
陈凯锐 博士、副教授、硕士生导师（招生方向：控制工程专业硕士） 研究领域：多智能体协同控制、分布式状态估计、无人车和无人机相关研究 电子邮箱: kray@gzhu.edu.cn 2. 常家庆 讲师 研究方向：微流体驱动与控制技术 Email: cjq2018@163.com 3. 陈首彦 博士、副教 ......
就业信息搜集系统开发<3>
进度 引入pinia作为状态管理 使用了devtools 必须登陆后才能访问其他页面 登陆后访问权限记录 引入pinia 在main.ts中引入不做赘述，可见pinia官网说明 stores/token.ts export const useTokenStore = defineStore('tok ......
《渗透测试》JS架构&框架识别&泄漏提取&API接口枚举&FUZZ爬虫&插件项目 Day14
0、什么是JS渗透测试？ 在Javascript中也存在变量和函数，当存在可控变量及函数调用即可参数漏洞 JS开发的WEB应用和PHP，JAVA,NET等区别在于即没有源代码，也可以通过浏览器的查看源代码获取真实的点。获取URL，获取JS敏感信息，获取代码传参等，所以相当于JS开发的WEB应用属于白 ......
为什么Tomcat架构要这么设计？这篇文章告诉你答案！
Tomcat体系架构 Tomcat项目结构 bin目录 bin目录主要是用来存放tomcat的命令，主要有两大类，一类是以.sh结尾的（linux命令），另一类是以.bat结尾的（windows命令）。 很多环境变量的设置都在此处，例如可以设置JDK路径、tomcat路径 startup文件：主要是 ......
mysql查询所有表及字段的注释信息
查询information_schema.tables表，查询结果去掉4个系统库 SELECT t1.TABLE_SCHEMA 库名, t1.table_name 表名, t1.table_comment 表注释, t2.COLUMN_NAME 字段名, t2.column_comment 字段注释 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
Linux 查看进程占用cpu/内存/io信息
Linux 查看进程占用cpu/内存/io信息 top Display dynamic real-time information about running processes. More information: https://manned.org/top. 单词解释： PID: 进程ID U ......
一个基于序列的弱监督视觉信息抽取学习框架
一、简要介绍 视觉信息提取（VIE）近年来受到了越来越多的关注。现有的方法通常首先将光学字符识别（OCR）结果组织成纯文本，然后利用标记级实体注释作为监督来训练序列标记模型。但是，它花费大量的注释成本，可能导致标签混淆，OCR错误也会显著影响最终性能。在本文中，作者提出了一个统一的弱监督学习框架，称 ......
【HMS Core】教你一分钟解决帐号服务获取用户信息接口session超时问题
【关键字】 华为帐号服务、获取用户信息、HMS Core 【问题描述】 今天在调用获取用户信息接口时，一直返回session timeout。参考的文档地址如下： https://developer.huawei.com/consumer/cn/doc/development/HMSCore-Ref ......
传统架构 vs 云原生架构，谈谈为什么我们需要云原生架构？
传统架构 vs 云原生架构，谈谈为什么我们需要云原生架构？ 云原生架构是什么 回顾过去十年，数字化转型驱动着技术创新和商业元素的不断融合和重构，可以说，现在已经不是由商业模式决定采用何种技术架构，而是由技术架构决定企业的商业模式。所以无论是行业巨头还是中小微企业都面临着数字化转型带来的未知机遇和挑战 ......
架构师成长计划｜如何利用云原生构建一个企业级高可用架构
Gartner 报告指出，到 2022 年，有 75% 的全球化企业将在生产中使用云原生的服务化应用。不仅是互联网行业，制造、房地产、生物医药、政府等各行各业都将拥抱云原生技术。在这种背景下，行业也出现了较为彻底的预判：未来成功的企业都将采用云原生技术，并且是深度应用。 近几年，“云原生”这个词被提 ......
《前端serverless 面向全栈的无服务器架构实战》读书笔记
第1章 什么是severless 什么是NoOps 利用自动化运维代替手工运维模式 什么是severless 开发者无需关注服务器资源配置情况、部署情况、操作系统以及依赖软件等在内等所有细节，这一切都由平台完成，开发者只需要专注于业务实现。 serverless是指在应用的构建环节或应用环节都无需对 ......
Serverless从入门到进阶：架构、原理与实践
腾讯云Serverless项目早期参与者撰写，基于腾讯云、阿里云和亚马逊云等多个云厂商的产品和技术；从产品和技术两个维度展开，讲解Serverless的架构设计、技术原理、开发流程、实战案例。 这是一本从产品和技术两个维度讲解Serverless的著作，涵盖Serverless的架构设计、技术原理、 ......
玩转Serverless架构 概念篇+开发基础篇+开发进阶篇+场景案例篇
你好，我是老蒋，一个在前端摸爬滚打 7 年的老兵，目前是国内某一线大厂的资深软件工程师。 2017 年国内 Serverless 技术刚刚兴起，我就开始使用和推广 Serverless 了，当时，我的团队负责很多前端中后台系统的研发，后端为了方便扩展就把接口设计得很原子化，导致前端渲染一个页面要发几 ......
领域驱动架构设计之事件篇
前言 领域驱动设计基于CQRS的事件架构， 可以使命令发起者和命令执行者解耦。通过一系列的事件的追加存储，可以对事件的追踪和溯源。采用事件架构模式，更加面向与业务职能，将复杂的业务场景拆分成不同事件执行，在一定程度上达到解耦和复用的目的。事件的发起者和执行分离，解耦下游的相关的系统，下游只需要监听关 ......
PostgreSQL查询所有表的信息
查询PostgreSQL所有表信息有以下两种方式： 使用工具提供的\d命令查询 使用SQL语句进行查询 方法一：通过命令行查询 登录：psql -U 用户名 \l：查看系统中现存的数据库 \c：切换库，如\c mydb切换到mydb库 \d：列出所有表和sequence \d 表名：查询表结构 \q ......
第六章 Calico架构图的详解图
##1，Calico网络模型主要工作组件： 1.Felix：运行在每一台 Host 的 agent 进程，主要负责网络接口管理和监听、路由、ARP 管理、ACL 管理和同步、状态上报等。保证跨主机容器网络互通。 2.etcd：分布式键值存储，相当于k8s集群中的数据库，存储着Calico网络模型中I ......
【微信小程序&腾讯位置服务】获取用户所在城市信息实战
实现小程序进去后获取用户当前所在城市，然后显示该城市的数据，并且显示在导航栏和 Tab上。 微信小程序中，我们可以通过调用wx.getLocation()获取到设备当前的地理位置信息，这个信息是当前位置的经纬度。如果我们想获取当前位置是处于哪个国家，哪个城市等信息，该如何实现呢？ 微信小程序中并没有 ......
全球IP whois信息获取与情报挖掘
全球IP的whois信息获取与情报挖掘 什么是whois信息？ Whois是一种网络协议，也是一种网络服务，能够让客户端查询域名或者IP是否注册，以及注册人的相关信息。我们通常所说的whois信息就是通过whois查询到的信息。IP whois信息即是IP的是否注册使用以及注册人(或机构)的信息。 ......
【深入浅出 Yarn 架构与实现】5-1 Yarn 资源调度器基本框架
资源调度器是 YARN 中最核心的组件之一，它是 ResourceManager 中的一个插拔式服务组件，负责整个集群资源的管理和分配。
Yarn 默认提供了三种可用资源调度器，分别是FIFO (First In First Out )、 Yahoo! 的 Capacity Scheduler 和 ... ......
【分布式技术专题】「分布式技术架构」一文带你厘清分布式事务协议及分布式一致性协议的算法原理和核心流程机制（Paxos篇）
概念简介 Paxos是一种基于消息传递具有高度容错特性的一致性算法，是目前公认的解决分布式一致性问题最有效的算法之一。 发展历史 Paxos算法的发展历史追溯到古希腊，当时有一个名为“Paxos“的小岛， 岛上采用一会的形式通过法令， 议会中议员通过信使进行消息传递，议员与信使都是兼职的，他们随时都 ......
企业低成本万能架构
企业软件应用架构层出不穷（这里的应用架构是指偏后端服务的软件架构）每个企业由各自业务形态，技术栈，技术路线，技术实力不同，各自架构方案，技术选型各有各的不同，千姿百态，正所谓：“百花齐放，尽吐芬芳”。 没有最好架构，只有当前最适合的架构方案，也没有完美架构，只有持续迭代演进的架构。 有没有一种万能通 ......
统一授权认证架构设计及实现
统一鉴权认证是一个基础服务。它几乎在所有企业内部都需要，企业内部只要有两个以上系统存在，就有必要实现一套统一的授权系统，否则用户使用非常地麻烦，需要在不同系统之间来回登录切换。特别是在微服务大行其道的今天，这个统一授权认证服务更是一个基础和关键入口。实现的方案有很多种，但都大同小异。 本文主要介绍授 ......