爬虫 公司 信息
信息论-交叉熵
信息论 参考教程：22.11. Information Theory — Dive into Deep Learning 1.0.0-beta0 documentation (d2l.ai) 信息代表事件的意外程度，或者说事件的抽象可能性 self-information 一个事件包含多少信息量，可 ......
用postman模拟“授权代码授予”模式下获取Azure的用户信息（UserInfo）
用postman模拟“授权代码授予”模式下获取Azure的用户信息（UserInfo） 1. 准备参数： 图1： 图2： 2. 调用： 点击按钮“Get New Access Token”，如果成功那么会弹出如下对话框： 3. 读取Access Token： 点击按钮“Proceed”，如果成功那么 ......
大公司为什么禁止SpringBoot项目使用Tomcat？
前言 在SpringBoot框架中，我们使用最多的是Tomcat，这是SpringBoot默认的容器技术，而且是内嵌式的Tomcat。同时，SpringBoot也支持Undertow容器，我们可以很方便的用Undertow替换Tomcat，而Undertow的性能和内存使用方面都优于Tomcat，那 ......
常用API(爬虫，正则表达式)
常用API（爬虫，正则表达式） 爬虫 本地爬虫：Pattern：表示正则表达式； Matches：文本匹配器，作用按照正则表达式的规则读取字符串，从头开始读取，在大串中去找符合匹配规则的子串； find：1.拿着文本匹配器从头开始读取，寻找是否有满足规则的子串；如果没有，方法返回fals ......
python爬虫scrapy框架的使用
总结 scrapy startproject name scrapy genspider baidu http://www.baidu.com scrapy crawl baidu scrapy项目创建 scrapy startproject scrapy_baidu_091 创建爬虫文件 在spi ......
1、创业：开篇 - 开公司创业系列文章
开公司创业是笔者这些年来有在准备的内容。从2008年开始，笔者赚到了第一桶金，然后有规划开公司创业，但是当时的想法相对简单，通过算了账目，发现这桶金只够开公司维持3个月，所以就暂时搁置了。 对于创业，笔者这些年有在学习和准备，比如开公司的流程，注册，运营，节税等等。但是，现在笔者通过学习其他前辈们的 ......
：）搭建公司级的chatGPTmingu-|
搭建公司级的chatGPT(业务答疑) 一 搭建对话服务平台 参考工程：gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com) 参考链接：https://www ......
苹果手机短信,苹果手机推送,苹果手机iMessage信息群发,实现原理
Apple公司全线在mac os与ios两个操作系统上内置了FaceTime与iMessage两个应用。完美替代运营商的短信与电话。并且FaceTime与iMessage的帐号不仅仅与Apple ID 绑定，同时也与使用这Apple ID的手机号码绑定，这样的漏洞自然给无孔不入的中国的群发垃圾信息商 ......
爬取的数据存mysql中、加代理，cookie，header，加入selenium、布隆过滤器、scrapy-redis实现分布式爬虫
上节回顾 # 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 - ......
爬虫介绍、request模块、自动登录、携带cookie的两种方式、requests.session的使用、响应Response对象
今日内容 爬虫介绍 request模块介绍 request发送get请求 request携带参数 url编码解码 携带请求头 发送post请求，携带数据 自动登录，携带cookie的两种方式 requests.session的使用 补充post请求携带数据编码格式 响应Response对象 编码问题 ......
顶象受邀加入深圳市网络与信息安全协会
近日，顶象正式加入深圳市网络与信息安全行业协会，将携手协会开展网络安全政策宣传、行业探讨、学术交流，展开技术优势互补和深度融合，为企业数字化转型升级保驾护航，助力大湾区数字安全建设。 深圳市网络与信息安全行业协会，是经深圳市经贸信息委信息安全处倡议，由业内企业自主发起，获深圳市民政局批准成立的非盈利 ......
【sip】带鉴权信息的SIP呼叫
携带鉴权的SIP呼叫流程图 携带鉴权SIP呼叫流程描述1） 主叫1000发起一路呼叫，终端向服务器发送INVITE请求消息。 2） 代理服务器向终端1000回407响应，表示代理服务器要求终端带上鉴权信息。 3） 终端1000向服务器发送INVITE消息，并带上鉴权信息。 4） 代理服务器向终端用户 ......
pandas.Series 获取时间年、月等信息
注意事项 dt.XX 后面不加括号 zz的数据类型为 datetime64[ns] zz = pd.Series(pd.to_datetime(时间戳, unit='s')) # 获取日期月份 bb = zz.dt.month # 获取年月日 bb = zz.dt.date #获取星期名称 bb = ......
关于Python爬虫使用技巧
首先，Python是一种非常流行的编程语言，拥有广泛的应用领域，例如数据分析、人工智能、Web开发等。如果您是初学者，可以开始学习基础的语法和概念，例如变量、数据类型、循环、函数等等。许多在线资源可以提供学习资料。 其次，Python拥有大量的第三方库和框架，可以帮助您提高开发效率并处理各种任务，例 ......
用户组信息存储文件（etc）password
用 cat 或者 vi vim 看 /etc/group root : x : 0 组名 组密码 组id ......
毅硕科技携手Sentieon独家赞助第21届亚太生物信息学大会（APBC 2023）
APBC介绍 亚太生物信息学大会（Asia Pacific Bioinformatics Conference, APBC）是一年一度的行业国际盛会，汇聚区域间生物信息学领域的学者、研究人员和产业领导者，共同探讨生物信息学领域的研究进展、技术发展和应用创新。自2003年开始，APBC在亚太地区已成功 ......
APP爬虫初阶之Pixel2刷机root
pixel2刷机 刷机准备 lineage zip twrp img magisk zip（github上下的是APK，需要把后缀改为zip） 刷机步骤 首先需要一个底包，这里我用的出厂自带的google官方系统，没有重新刷入 手机上打开usb调试，关闭屏幕超时锁屏，打开OEM锁 手机完全关机，按住 ......
MFC-GetObject获取对象信息
获取位图信息 BITMAP bm; HBITMAP hBmp = NULL; CString str = _T("D:\\1.bmp"); hBmp = (HBITMAP)::LoadImage(NULL, str, IMAGE_BITMAP, 0, 0, LR_LOADFROMFILE); int ......
【Ubuntu】查看系统信息
1、使用lsb_release -a ~# lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 20.04.3 LTS Release: 20.04 Codename: foc ......
信息收集
1、介绍 渗透实际是一个永无止境的过程，一般来说，信息收集越广，越深入，可以测试、交叉利用的可能性越高。 在实际中，信息收集是受到多方面影响的，比如时间、精力、重要程度、自身的技术能力等等。 有些收集是必要的，而有些信息的收集看具体情况。有些是预先收集，有些是边测试边收集整理。 2、域名收集 域名收 ......
通过知识星球提问时，请大家在提出的问题里附加上这些信息
大家使用 SAP 产品的名称和版本号 SAP 产品线浩如烟海。可能大家日常工作中使用的也就是那一两款 SAP 产品，因此有些朋友提问时，习惯用 “SAP” 来替代具体的 SAP 产品名称。 比如这种类型的提问： SAP 销售订单释放时，遇到错误消息：订单被锁定。 这种问题大家很难帮忙，因为几乎所有 ......
nmap帮助信息
1、开始 使用--help选项，可以查看详细的帮助信息 nmap --help 基本语法： nmap [Scan Type(s)] [Options] {target specification} 2、目标指定 3、主机发现 -sn 只进行ping扫描用于主机发现，不进行端口扫描 -Pn 视作所有主 ......
MySQL MHA信息的收集【Filebeat+logstash+MySQL】
一.项目背景 随着集团MHA集群的日渐增长，MHA管理平台话越来越迫切。而MHA平台的建设第一步就是将这些成百上千套的MHA集群信息收集起来，便于查询和管理。 MHA主要信息如下: （1）基础配置信息； （2）运行状态信息； （3）启动及FailOver的log信息。 集团目前数据库的管理平台是在A ......
信息论之从熵、惊奇到交叉熵、KL散度和互信息
一、熵（PRML） 考虑将A地观测的一个随机变量x，编码后传输到B地。 这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，需要传输⼀个3⽐特的消息。注意，这个变量的熵由下式给出: ⾮均匀分布⽐均匀分布的熵要⼩。 如果概率分布非均匀，同样使用等长编码，那么并不是最优的。相反， ......
Exp5 信息搜集与漏洞扫描
一、实践内容 （1）各种搜索技巧的应用 ①搜索网址目录结构 使用metasploit的 brute_dirs，dir_listing，dir_scanner等辅助模块，用来探测网站的目录结构，便于查找漏洞点。 首先进入msfconsole。 dir_scanner use auxiliary/sca ......
自学Python爬虫笔记（day7）
环境python3.9版本及以上，开发工具pycharm requests的进阶使用： 案例一 模拟用户登录-处理cookie： # 登录 -> 得到cookie # 带着cookie 去请求到暑假url -> 书架上的内容 # 必须把上面两个操作连起来 # 我们可以使用session进行请求 -> ......
mysql如何查询所有表和字段信息
1 MySQL中information_schema是什么 information_schema数据库是MySQL自带的，它提供了访问数据库元数据的方式。 元数据：元数据是关于数据的数据，如数据库名或表名，列的数据类型，或访问权限等。有些时候用于表述该信息的其他术语包括“数据字典”和“系统目录”。 ......
信息安全简介
信息安全概念和演化过程 信息安全 信息安全是保护信息系统免受意外或故意的非授权泄漏、传递、修改或破坏。 信息安全是为数据处理系统建立和采取的技术和管理的安全保护，保护计算机硬件、软件和数据不因偶然和恶意的原因而遭到破坏、更改和泄漏。 信息安全涉及信息的保密性、可用性、完整性和可控性。保密性就是保证信 ......
[深度学习]服务器推送信息到手机
效果 原理 微信服务号是可以推送模板类消息到个人账号的，gpu服务器在训练的时候，把重要信息通过post请求发到服务号的服务器，然后以模板消息推送给微信。但只有企业或者个人经营企业才能注册服务号，所以我使用第三方的服务。一个是autoDL的推送，一个是server酱。本来以为不在autoDL机房里的 ......