爬虫 公司 信息
EXP5 信息搜集与漏洞扫描
EXP5 信息搜集与漏洞扫描 # 一、实践目标 掌握信息搜集的最基础技能与常用工具的使用方法 1.各种搜索技巧的应用 2.DNS IP注册信息的查询 3.基本的扫描技术：主机发现、端口扫描、OS及服务版本探测、具体服务的查点（以自己主机为目标） 4.漏洞扫描：会扫，会看报告，会查漏洞说明，会修补漏洞 ......
【0基础学爬虫】爬虫基础之自动化工具 Selenium 的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为自动化工具 Selenium 的使用。 概述 目前，很多网站都 ......
批量清除 Jenkins Job 的构建信息
要批量清除 Jenkins Job 的构建信息，您可以使用 Jenkins 的 Groovy 脚本执行器。请按照以下步骤操作： 登录到 Jenkins 管理界面。 点击左侧导航栏中的 "管理 Jenkins"。 向下滚动并找到 "脚本控制台"，点击进入。 在脚本控制台中，粘贴以下 Groovy 脚本 ......
Linux系统查看CPU、机器型号、内存等信息-搬运
Linux系统查看CPU、机器型号、内存等信息 原文地址：https://cloud.tencent.com/developer/article/1721406 系统维护时随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 linux 中，可以通过 top 命令来查看 CPU ......
flutter使用Charles代理爬虫
由于flutter的http请求代理不走系统，所以只能在代码中设置代理ip： class MyHttpOverrides extends HttpOverrides { bool _badCertificateCallback(X509Certificate cert, String host, i ......
爬虫常用方法
1. selenium转beautifulsoup: pageSource = driver.page_source soup = BeautifulSoup(pageSource,'html.parser') 2. bs4 查找页面内容： resultPages = soup.find(text= ......
网络对抗实验五 信息搜集与漏洞扫描
#实践内容 ###一、各种搜索技巧的应用 #####1. 搜索网址目录结构 使用kali，依次输入如下指令：可以找到如下目录 msfconsole use auxiliary/scanner/http/dir_scanner set THREADS 20 set RHOSTS www.baidu.c ......
SATI 文献题录信息统计分析工具
SATI支持以下数据分析任务： 多种数据清洗工具：文献去重、词干提取、应用停用词、智能清洗等。 提取高频字段，并输出频次排名列表。 基于高频字段生成时间序列图，可输出下载时间序列数据。 构建高频字段共现矩阵，并输出Excel/TSV格式矩阵。 自动基于共现矩阵，生成知识图谱 (Network/Kno ......
城乡规划信息化解决方案，推进“乡村振兴战略”实施
一、背景： 城乡规划是指对城市和农村进行综合性的、长远的规划，包括了土地利用、建筑布局、交通系统、公共服务配套设施及环境保护等方面。为了统筹城乡发展，促进土地资源合理利用和人口、经济、社会的协调发展，需要制定出高质量的城乡规划解决方案。 中科图新智慧城市整体规划解决方案，主要特点在于系统以三维为展示 ......
5 加餐（一）| 大学毕业，我要不要留在一线城市互联网公司？
你好，我是乔新亮。前面我们聊了许多有关职业发展的基础认知。在加餐部分，我想将这些认知串联起来，回答一些在成长中，你可能会实际遇到的问题。 前段时间，我和团队内外许多年轻的同学们聊了聊，大家都在讨论“那位28岁退休的字节跳动程序员”，还引用了网络上比较火的一个词，叫做：“逃离北上广”。几番思量后，一些 ......
5、公司运营 - 开公司创业系列文章
01 那么，什么是运营呢？ 从理论上讲，运营是对运营过程的计划、组织、实施和控制，是与产品生产和服务创造密切相关的各种管理工作的总称。 从另一个角度来看，运营管理也可以指对生产和提供公司主要产品和服务的系统进行设计、运行、评估和改进的管理工作。 简单来说，所有围绕网站产品的人工干预都叫运营。 如果把 ......
RIP（路由信息协议）
RIP（路由信息协议） 默认优先级100，基于UDP协议，是基于距离矢量算法的路由协议，利用跳数来作为计量标准。在带宽、配置和管理方面要求较低，主要适合于规模较小的网络中。 工作原理： 路由器运行RIP后，会首先发送路由更新请求，收到请求的路由器会发送自己的RIP路由进行响应；网络稳定后，路由器会周 ......
java - 获取系统信息指令
1.获取系统的临时文件夹地址 System.getProperty("java.io.tmpdir") 打印结果 C:\Users\cenxi\AppData\Local\Temp\ 2.获取java项目的根文件夹上一级文件夹地址 System.getProperty("user.dir") 打印结 ......
office文档怎么清理作者等信息
office文档编辑后会带有作者信息 右键-属性-详细信息-删除属性和个人信息 创建不包含任何信息的副本 从此文档删除以下信息 需要安装office 如果只有wps则无法使用此功能 ......
记一次excel vba 爬虫实战
基于办公与互联网隔离，自带的office软件没有带本地帮助工具，因此在写vba程序时比较不方便(后来发现07有自带，心中吐血，瞎折腾些什么）。所以想到通过爬虫在官方摘录下来作为参考。 所使工具: python3.7,requests、selenium库 前端方面：使用了jquery、jstree 设 ......
关于DB2数据库基本信息查询语句
1.1 数据库的启停启动数据库： db2start关闭数据库： db2stop（在关闭前先执行db2 force application all(关闭所有正在执行的连接)）或者直接执行db2stop force(不是优先选择))# --有时候db2 force application all关闭不了 ......
RDS相关信息
RDS相关概念 PS (program service) 提供8个字符的电台名称显示 PTY (program type) 提供电台节目类型显示 TP (traffic program) 提供电台是否为交通电台（不一定在播放交通信息） TA (traffic announcement) 提供电台是否 ......
Day 25 25.1 Scrapy框架之全站爬虫(CrawlSpider)
Scrapy框架之全站爬虫(CrawlSpider) 在之前 Scrapy 的基本使用当中，spider 如果要重新发送请求的话，就需要自己解析页面，然后发送请求。 而 CrawlSpider 则可以通过设置 url 条件自动发送请求。 LinkExtractors CrawlSpider 是 Sp ......
Day 25 25.2 Scrapy框架之分布式爬虫(scrapy_redis)
分布式爬虫(scrapy_redis) 分布式爬虫是指将一个大型的爬虫任务分解成多个子任务，由多个爬虫进程或者多台机器同时执行的一种爬虫方式。 在分布式爬虫中，每个爬虫进程或者机器都具有独立的爬取能力，可以独立地爬取指定的网页或者网站，然后将爬取到的数据进行汇总和处理。 分布式爬虫相对于单机爬虫的优 ......
20201302姬正坤《网络对抗技术》Exp5 信息搜集与漏洞扫描
《网络对抗技术》Exp5 信息搜集与漏洞扫描 实践目标 （1）各种搜索技巧的应用 （2）DNS IP注册信息的查询 （3）基本的扫描技术：主机发现、端口扫描、OS及服务版本探测、具体服务的查点（以自己主机为目标） （4）漏洞扫描：会扫，会看报告，会查漏洞说明，会修补漏洞（以自己主机为目标） 实践步骤 ......
Exp5 信息搜集与漏洞扫描
一、实践目标 掌握信息搜集的最基础技能与常用工具的使用方法: （1）各种搜索技巧的应用 （2）DNS IP注册信息的查询 （3）基本的扫描技术：主机发现、端口扫描、OS及服务版本探测、具体服务的查点（以自己主机为目标） （4）漏洞扫描：会扫，会看报告，会查漏洞说明，会修补漏洞（以自己主机为目标） 二 ......
1 信息图形化：第一印象
统计 图表是概括原始信息的便捷方式，能帮助你一眼得出初步印象; 数据中隐含着一些模式和趋势,图形是发现数据隐含模式的一种有效方法; 通过图形，数据得以直观地体现，使你一暇就能看出数据的真正动向 “数据”指的是所搜集的原始事实与数宇; “信息”指的是加入了某种意义的数据 要为自己的工作选择合适的图表， ......
Exp 5 信息搜集与漏洞扫描 20202211王宏韬
目录 1.实验后问题回答 （1）哪些组织负责DNS，IP的管理。 （2）什么是3R信息。 （3）评价下扫描结果的准确性。 2.实验总结与体会 3.实践过程记录 （1）各种搜索技巧的应用 （2）DNS IP注册信息的查询 （3）基本的扫描技术：主机发现、端口扫描、OS及服务版本探测、具体服务的查点（以 ......
P2661 [NOIP2015 提高组] 信息传递-拓扑排序+DFS深度优先遍历
有 n 个同学（编号为 1 到 n ）正在玩一个信息传递的游戏。在游戏里每人都有一个固定的信息传递对象，其中，编号为 i 的同学的信息传递对象是编号为 Ti 的同学。
游戏开始时，每人都只知道自己的生日。之后每一轮中，所有人会同时将自己当前所知的生日信息告诉各自的信息传递对象（注意：可能有人可以... ......
记录常用的爬虫代码段（长期更新）
判断文件路径不存在创建文件路径 if not osp.exists(path): os.makedirs(path) 去除字符串非法字符，防止创建文件夹报错 #去掉非法字符 pitow = re.sub('[\/:*?"<>|]','-',name) ......
pathon爬虫实战——爬取某网站的多页番剧内容
（本博客只为技术分学习，无其他用途） 1.准备 涉及的第三方库如下： 2.网页分析 2.1 检验网页 1. 运行浏览器，打开网页，按快捷键F12打开开发者工具，F5刷新页面 2. 在右侧点击Network，打开browser?sort=rank&page=1 文件，可以看到各种信息，查看表头 3. ......
【Redis】面试题 GEO地理位置信息
面试 1 http协议详情，http协议版本，http一些请求头 -特点： 1 基于请求响应--》服务端不能主动给客户端推送消息 》websocket协议 2 无状态无连接 》不能做会话保持 》才出现了cookie，session，token 3 基于tcp之上的应用层协议 -详情： -请求协议： ......
WSL子系统的终端显示信息不全
Win10里面的Ubuntu子系统的终端，滚动鼠标往上滑，只能显示有限的几行信息。 解决办法：在终端上方的空白处右键，选择“属性”，找到“布局”，将“屏幕缓冲区大小”的“高度”，由原来的“99”改成大一点的数字，比如“500”。 ......
简单的python3脚本：从日志中提取信息
命名：log_extractor.py or download_stats_extractor.py # coding:utf-8 #!/usr/bin/python3 def filter_line(line,contains,contains_not): if all(c in line for ......
信息收集（一）外网打点
这篇文章介绍外网打点的信息收集手法。 1. 简介 渗透的本质是信息收集 信息收集也叫做资产收集 信息收集是渗透测试的前期主要工作，是非常重要的环节，收集足够多的信息才能方便接下来的测试，信息收集主要是收集网站的域名信息、子域名信息、目标网站信息、目标网站真实IP、敏感/目录文件、开放端口和中间件信息 ......