笔记python

基于Selenium库的python爬虫脚本,爬取painterest上的图片

# 基于Selenium库的python爬虫脚本,爬取painterest上的图片 - 问题背景 Pinterest是一个社交媒体平台,它提供了一个虚拟的个人兴趣画板,让用户可以收集和分享他们喜欢的图片、视频和链接。上面有许多优秀的图片供浏览和下载,但是一个个点图片下载非常麻烦。于是想要用Pytho ......
爬虫 脚本 painterest Selenium python

单节点kafka部署笔记

# 1 背景 因为工作中需要对接kafka,准备在测试环境中自己部署一套,考虑方便决定部署一台单点。 # 2 部署 ## 2.1 scala ### 2.1.1 java环境 openjdk即可,我使用的是openjdk1.8 ### 2.1.2 下载软件 下载scala-2.12.17.tgz并解 ......
节点 笔记 kafka

(ex)BSGS/(扩展)大步小步算法 学习笔记

# (ex)BSGS/(扩展)大步小步算法 学习笔记 在即将暂时退役之际杀掉了[P4195](https://www.luogu.com.cn/problem/P4195)的毒瘤模板题,于是来写篇学习笔记。 谨此为我初中三年摆烂的OI生涯画上一个句号。(距离中考还有20天!) ## BSGS [li ......
小步 大步 算法 笔记 BSGS

flutter学习笔记(二)

flutter一切皆widget flutter和web前端的区别: 1.js语法变成dart 2.html标签变成组件widget 3.flutter里没有css,只有各种widget的属性来实现样式(比如绝对定位用Stack组件来实现) fluter和web前端的相同点: 1.dart语法接近j ......
flutter 笔记

小迪安全web学习笔记(8)

1、信息收集在安全测试中,信息收集是非常重要的一个环节,此环节的信息将影响到后续的成功几率,掌握信息的多少将决定发现漏洞机会大小,换言之决定着是否能完成目标的测试任务。也可以很直接的跟大家说:渗透测试的思路就是从信息收集这里开始。 2、信息收集过程有无web 有CDN 国外请求 接口查询 黑暗引擎 ......
笔记 web

小迪安全web学习笔记(9)

1、信息收集APP及其他资产APK:安卓应用程序包 2、某IP无web框架下的第三方测试一阵扫描端口接口 3、端口扫描工具速度:mas准确度:Nmap扫描ip用黑暗引擎:zoomeye 子域名查看 旁注查询 4、类似域名接口查,查备案信息shodanfofa ......
笔记 web

小迪安全web学习笔记(10)

1、信息收集-资产信息github监控 通过第三方软件监控你设定的最新漏洞信息并推送ctcms监控seo优化 2、子域名挖掘 3、补天漏洞响应平台用来攻击漏洞赚钱的平台。 4、python脚本用来完成GitHub的监控,用信息搜集过程中得到得名称代入进脚本中运行,再下载推送得程序脚本再把它拖到相应得 ......
笔记 web

小迪安全web学习笔记(11)

1、web漏洞-必懂知识点数据库的语句 2、地址:网站域名、文件夹( 目录)、文件参数名 、 参数值 3、目录遍历漏洞跨目录文件的读取: /../../../文件名需要知道目录结构(怎样知道):工具扫描 爬行 通过网页源代码读 4、漏洞等级和危害高危:SQL注入 文件上传 文件包含 代码执行 未授权 ......
笔记 web

小迪安全web学习笔记(12)

1、SQL注入数据库类型提交方法数据类型查询方法回显/盲注注入扩展WAF绕过防御方案 2、mySQL简单注入危害:SQL注入可操控数据简易代码分析原理:通过参数传递把恶意代码传入sql语句中,让后面的代码显现出来。需要学习php、html、mySQL语句的基础知识去理解 3、post注入的地方是输入 ......
笔记 web

python爬虫——对于500彩票网站的数据爬取以及数据可视化

一.选题的背景 据统计今年四月以来,全国彩票销量突破1700亿元,达到1751.50亿元,和2020年、2021年相比涨幅更大,比2019年也高出300多亿。 而且买彩票的年轻人也越来越多,首先现在是自媒体时代,体彩、福彩在媒体上的宣传,年轻人无疑是最大的受众体,而年前人接受新事物的能力比较强,“小 ......
数据 爬虫 彩票 python 网站

python环境 anaconda安装

官网: https://www.anaconda.com/distribution/#macos 国内镜像: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 安装时注意勾选: ![image](https://img2023.cnblog ......
anaconda 环境 python

Python爬虫---爬取京东联想电脑的评论数据

(一)选题背景 比起台式电脑来说,笔记本电脑方便得多。随着网络的发展,现在很多事情都可以在手机上办理,很大程度上便利了人们的生活。但还是有些事情在电脑上更安全一些,所以有一台电脑还是很重要的。在淘宝、京东等网络平台上购物,逐渐成为大众化的购物方式。但假冒伪劣产品在这个摸不着实物的购物平台严重危害着消 ......
爬虫 联想电脑 数据 Python 电脑

Python网络爬虫—对小说网站的爬取以及简易可视化分析

(一)选题背景: 1. 便携性:电子书可以在电子设备上存储和阅读,便于携带和阅读;纸质书则需要占用更多的空间和重量,不太方便携带。因此,对于需要频繁出差或旅行的人来说,电子书可能更受欢迎。2. 阅读体验:纸质书的纸张质感和印刷质量可以提供更好的阅读体验,而电子书则可能会受到屏幕反光、眼睛疲劳等问题的 ......
爬虫 简易 Python 网络 小说

【学习笔记】(18) 长链剖分

# 长链剖分 ## 1.算法简介与性质 长链剖分本质上就是另外一种链剖分方式。 长链剖分与重链剖分有相通之处,后者是将 子树大小 最大的儿子作为重儿子,前者则是将 子树深度 最大的儿子作为重儿子。可见两者只是换了一个剖分形式。 长链剖分有如下性质: * 性质 1:每个节点所在长链末端为其子树内最深节 ......
笔记 18

【学习笔记】(14) 初等数论(一)

# 1.【最大公约数(GCD)和最小公倍数(LCM)】 ## 【基本性质、定理】 * $\large gcd(a,b)=gcd(b,a−b) (a>b)$ * $\large gcd(a,b)=gcd(b,a$ $\large mod$ $b)$ * $\large gcd(a,b)$ $\larg ......
数论 笔记 14

babylon.js 学习笔记(9)

继续学习sprite用法,做为一个游戏引擎,怎能没有Sprite(精灵),下面是基本示例: const createScene = function () { const scene = new BABYLON.Scene(engine); const camera = new BABYLON.Ar ......
babylon 笔记 js

python 日期和时间 函数

import time ticks = time.time() print("当前的时间戳是:" ) print(ticks) #获取当地时间 localtime = time.localtime(time.time()) print(localtime) #获取格式化的时间 lotime = ti ......
函数 日期 时间 python

python3 with语法

Python with 关键字 | 菜鸟教程 (runoob.com) 1、介绍 with语法是一种优化语法。 用于异常处理,封装了 try…except…finally 编码范式,提高了易用性。 with 语句使代码更清晰、更具可读性, 它简化了文件流等公共资源的管理。 在处理文件对象时使用 wi ......
语法 python3 python with

《程序员修炼之道-从小工到专家》阅读笔记

第15节 Shell 游戏 1、对于操纵文本的文件的程序员,命令 Shell 就是工作台。我们可以利用 Shell 启动各种应用、搜索文件、查询系统状态,甚至还可以构建复杂的宏命令,完成各种常见活动。 2、对于习惯 GUI 的开发者来说一直使用 Shell 有些极端。GUI 的好处是所见即所得,但他 ......
小工 程序员 笔记 程序 专家

阅读笔记之《程序员修炼之道-从小工到专家》五

第21节 按合约设计 1、注重实效的程序员会不信任自己,所以他们针对自己的错误行为进行防卫性编码。 2、按合约设计(Design By Contract,简写DBC)是 Bertrand Meyer 为 Eiffel 语言发展的概念。它的核心是用文档记载模块的权利与责任,并进行校验。它的目的是对函数 ......
小工 程序员 笔记 程序 专家

python 列表,元组,字典

列表 list[] print("更新") list = [] list.append("aa") list.append('bb') print(list) print("删除") del list[1] print(list) print(len([1,2,3])) print([1,2,3]+ ......
字典 python

python: function

""" """ #这是一个示例 Python 脚本。 # 按 Shift+F10 执行或将其替换为您的代码。 # 按 双击 Shift 在所有地方搜索类、文件、工具窗口、操作和设置。 画正方形 import turtle as t ''' t.speed(10) t.ht() t.pu() t.go ......
function python

python3不定长参数

1、介绍 python的函数和方法中,都允许不定长参数的声明和使用。 2、使用 不定长参数的三种形式:tuple、dict和混合 都是声明在函数或方法的末尾 2.1 tuple 在函数或方法的形参末尾进行声明,前缀*标记,可以任意命名,但一般命名为*args 用于接收超出形参声明个数的实参,且超出部 ......
参数 python3 python

set笔记

set函数用来去重加排序,非常的方便 set(集合)1. 介绍set容器中的元素不会重复,当插入集合中已有的元素时,并不会插入进去,而且set容器里的元素自动从小到大排序。 即:set里面的元素不重复 且有序 2. 函数方法代码 含义s.begin() 返回set容器的第一个元素的地址(迭代器)s. ......
笔记 set

构建之法阅读笔记06

通过学习软件工程这门课程以及阅读《构建之法》,我对BUG的概念有了新的更加正确的认识。我以前认为BUG就是软件的漏洞,故障,在软件进行正常运行时会出现不知名的错误。其实这种想法是不正确的,BUG是不能这样来定义的。软件行业有这样一句著名的笑话:(BUG)这不是缺陷,这是一个功能。所谓的BUG,对不同 ......
笔记

构建之法阅读笔记05

“不要一开始就想着找到并拼对所有的拼图块,以为能够打造一个巨大的创新。” 在书中的这句话给我的感触很大,对于这句话我很认同。这句话并不是教导我们目光只看到当前,我们要在有统筹观念的同时,注重脚下的每一步,过于追求结果只会使事不如人愿。一步一步,不急不躁,踏实稳步的走,你会发现,走着走着,你想看到的一 ......
笔记

构建之法阅读笔记04

回归测试的目的是什么? 1.验证新的代码的确改正了缺陷 2.同时要验证新的代码有没有破坏模块的现有功能,有没有Regression。 效能分析工具是什么? 两种分析方法: 1.抽样:程序运行时,VISUAL STUDIO时不时看一看这个程序运行在哪一个函数内,记录下来,最终得到一个关于程序运行时间分 ......
笔记

构建之法阅读笔记01

构建之法这本书通过生活实例,启发我对什么是程序,什么是软件,什么是软件工程,没有使用到算法需不需要学习、掌握。软件和算法,数据结构有无关联等问题的思考。仔细想想发现自己对这些概念很模糊。通过继续往下看,我才渐渐的明白了能满足各种功能的是应用软件,能保证维修的是软件服务…..也了解到了一个软件不是简简 ......
笔记

构建之法阅读笔记02

通过介绍航空的发展阶段,我明白了软件的发展和其差不多,一样需要从有想法到动手实现,再到不断探索,改进,扩大,形成一个成熟的体系。通过商业软件和爱好者程序,明白开发软件不能随心而行,要多从客户的角度出发,考虑问题,只有充分考虑全面,才能快速解决突发情况,减少用户损失。只有自己能善于发现问题,解决问题时 ......
笔记

构建之法阅读笔记03

VSTS——Visual Studio Team System,是由微软开发的一套具有高生产力、高集成性、可扩展的生命周期开发工具。 单元测试是什么? 单元测试是为了让各个模块的质量能得到稳定的,量化的保证的一种有效解决方案。 好的单元测试的标准是什么? 1.单元测试应该在最基本的功能/参数上验证程 ......
笔记