爬虫 语法 笔记robots
跟着狂神学Java（Day 1 -Markdown语法学习）
Day 01 :Markdown学习 我是用Typora来记的笔记，每天的笔记可以直接导入博客中 1.标题 #+空格+文字，就是标题了，其中，1个#代表一级标题，2个#代表二级标题，以此类推。（注意，最多能到六级标题） 2.字体 1.斜体：在文字两边都加上1个* 2.粗体：在文字两边都加上2个** ......
网络流学习笔记
一、亿些小定义 网络：是一张图 $G=(V,E)$，每一条边 $(u,v)$ 都有容量限制 $c(u,v)$，其流量为 $f(u,v)$。 定义流量函数为 $f:V\times V \to \mathbb{R}$，是点集中二元组对实数的一个映射，$f(u,v)$ 表示边 $(u,v)$ 的流量，$f ......
通过使用chatgpt 逐步解决egg项目学习的一些问题【笔记】
###我的需求提问 创建一个html页面，这个页面包括通过学生id查询学生详情的组件，和通过学生姓名，身份证，选择班级的组件，并把代码告诉我 ###chatgpt回答 好的，以下是一个包含两个组件的HTML页面，分别是通过学生ID查询学生详情和通过姓名、身份证号码和班级选择查询学生详情。 <!DOC ......
【K哥爬虫普法】大众点评VS百度地图，论“数据权属”对爬虫开发的罪与罚！
我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。 案情介绍 被告人：北京百度网讯科技有限公司（ ......
高效管理笔记，选择IHome在线笔记
IHome在线笔记是一款极其便捷的云笔记应用，它的出现彻底改变了人们的笔记方式。 Home在线笔记提供了一系列强大的功能，让你在任何地方、任何时间，都可以高效地管理自己的笔记，大大提高了工作和生活的效率。 首先，IHome在线笔记支持数据备份，这意味着你的笔记会被存储在云端服务器中，不会因为电脑损坏 ......
[重读经典论文] AlexNet笔记
1. 前言 AlexNet是一个深度卷积神经网络模型，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton于2012年设计。这个模型在ImageNet图像识别挑战赛中获得了当时的冠军，并推动了卷积神经网络在计算机视觉中的广泛应用。 AlexNet包括5个卷积 ......
【0基础学爬虫】爬虫基础之代理的基本使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为代理的基本使用。 代理概述 ip地址是一个唯一地址，它用于标识 ......
《Spectral–Spatial Morphological Attention Transformer for Hyperspectral Image Classification》论文笔记
论文作者：Swalpa Kumar Roy， Ankur Deria， Chiranjibi Shah， et al. 论文发表年份：2023 模型简称：morphFormer 发表期刊：IEEE Transactions on Geoscience and Remote Sensing 论文代码： ......
Mysql常用语法详解
一、数据库 创建数据库 create database 数据库名; 查询所有数据库 show databases; 查看正在创建的数据库信息 show create database 数据库名; 删除数据库 drop database 数据库名; 使用数据库 use 数据库名; 二、表 创建表 cr ......
【0基础学爬虫】爬虫基础之网络请求库的使用
大数据时代，各行各业对数据采集的需求日益增多，网络爬虫的运用也更为广泛，越来越多的人开始学习网络爬虫这项技术，K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章，为实现从易到难全方位覆盖，特设【0基础学爬虫】专栏，帮助小白快速入门爬虫，本期为网络请求库的使用。 网络请求库概述 作为一名爬虫初学者，熟练使 ......
HTML学习笔记
HTML学习笔记 HTML5新增表单属性 属性 值 说明 required required 必填项，不能为空 placeholder 提示文本 提示信息，有默认值value时，placeholder不显示； autofocus autofocus 自动获取焦点，页面加载完自动获得焦点； autoc ......
VS Code多语言笔记本扩展插件 Polyglot Notebooks
早在2022年12月12日，微软就发布了VS Code的多语言笔记本扩展插件 Polyglot Notebooks，所使用的引擎为. NET Interactive，目前支持包括C#、F#、PowerShell、JavaScript和SQL等多种语言。让数据科学家能够简单执行跨语言任务，就像是使用S ......
JavaScript学习笔记
JavaScript学习笔记 操作属性 获取标签 querySelector（‘CSS选择器’）返回一个元素对象，可以直接操作；找不到返回null； querySelectorAll（‘CSS选择器’）返回一个伪数组，需要遍历得到对象再操作； 注意：参数必须加引号（字符串），参数必须是CSS选择器； ......
Cadence入门笔记（十）：IPC文件、坐标文件、装配图和打样
IPC IPC文件用于生产时工厂检查生产出来的PCB线路是否导通,导出方法如下： 选择导出IPC356文件 一般默认配置即可 坐标文件 坐标文件用于工厂SMT贴片时候用，导出方法如下 点击IPC356上一个选项placement，一般也是默认选项即可 装配图 装配图即工厂生产时工人直接看的图，就是简 ......
做工作笔记有什么好处？
如果你认真观察周围工作效率比较高的上班族，就会发现这些人有共同的一个特点，这就是善于随手做工作笔记。那么做工作笔记有什么好处呢？很多人在工作中要处理庞大的信息和事务，但是仅凭自己的大脑，很难将这些事情全部记住，并且很容易忘记其中的一些细节，所以为了随时记录、追踪、使用这些信息，就需要随手做工作笔记了 ......
Cadence入门笔记（八）：DRC、钻孔图和光绘Gerber
DRC Allegro中的设计规则检查DRC用于检测PCB设计中有无违法设计规则的地方，其中Online模式为边设计边实时更新检查结果，Batch模式为设计完成后手动更新一版检查结果。 一般在设置中可以选择使用何种模式。设置可以在Setup->Constants和Cmrg中进行。上一节已经演示过如何 ......
Python实践(1):使用爬虫将小说保存为txt文件
本文将介绍如何利用Python编写爬虫程序将想看的小说以txt格式保存到电脑上 涉及的知识:爬虫,html,正则表达式 本文将以《安娜·卡列尼娜》小说在线阅读_列夫·托尔斯泰 (sbkk8.com)这个网站为例,其他的网站代码格式略有不同,但爬取的思路类似 (1)找到想看的小说的章节选择页面,将该页 ......
matlab学习笔记5 求导&数值微分&求根
#求导&偏导 diff(f(x),x,n)//关于x的n阶导数 jacobian([f(x,y,z),g(x,y,z),h(x,y,z)],[x,y,z])//求雅克比矩阵 factor(f(x))//分解成多项式相乘 用雅克比矩阵可求出二阶偏导 求区间最小值 求某点附近最小值并画图 求方程的精确解 ......
产品经理笔记5——什么是CRM
究竟什么是CRM？ 客户关系管理（Customer Relationship Management，简称CRM），是指企业为提高核心竞争力，利用相应的信息技术以及互联网技术协调企业与顾客间在销售、营销和服务上的交互，从而提升其管理方式，向客户提供创新式的个性化的客户交互和服务的过程。其最终目标是吸引 ......
第九第十章学习笔记
第9章生成随机性 熵的位数n：该数有2n 个?随机期望?取值，表示某种混乱程度 随机变量X的熵的常用定义如下∶ H(X):=-ΣP((X=x)log2P(X = x) 9.1真实随机 计算机的多种熵源：按键的精确时长、鼠标的精确移动轨迹、硬盘内部湍流引起的硬盘访问时间的随机波动 这些熵源是可疑的：“ ......
产品经理笔记4——什么是SaaS
SaaS即Software-as-a-service（软件即服务）的缩写，指提供商为企业搭建信息化所需要的所有网络基础设施网络基础设施及软件、硬件运作平台，并负责所有前期的实施、后期的维护等一系列服务。 SaaS平台是目前互联网技术的发展和应用软件的成熟而兴起的一种全新的软件应用模式。客户可根据自己 ......
产品经理笔记3——什么是解耦
在理解解耦之前，我们先来理解耦合度。耦合度是软件工程领域的概念，是指模块之间的依赖程度。 这里的模块可以小到一个小功能，也可以大到一个系统。 那么对应的，解耦就是解除模块之间的耦合关系。 降低模块之间的依赖程度也可以理解为解耦， 模块之间有依赖关系就必然存在耦合 ， 0耦合是基本无可能的，那是最理想 ......
Qt+MySql开发笔记：Qt5.9.3的mingw32版本编译MySql8版本驱动并Demo连接数据库测试
前言 之前特定的mysql版本msvc版本已经调通了，但是为了更好的跨平台，所以选择用mingw32版本，于是需要编译mysql驱动的mingw32版本的驱动库，以便提供给qt连接mysql使用。 编译环境 Qt5.9.3 mingw32 安装得时候记得要勾选上源码 mysql-installer- ......
《人月神话》阅读笔记
终于有幸拜读了《人月神话》这部业内经典著作。整体来说，本书的主线——人月神话、没有银弹在现今的软件工程管理领域依然属于有效的基础理论。不过有些东西确实过时了，比方说文档的管理，现在已经有了svn或者在线文档。提到调试的复杂性，现在的集成环境把调试变得非常容易。读完之后才感觉不是给编程的人看的，更应该 ......
Python抓取数据如何设置爬虫ip
在写爬虫爬取github数据的时候，国内的ip不是非常稳定，在测试的时候容易down掉，因此需要设置爬虫ip。本片就如何在Python爬虫中设置爬虫ip展开介绍。 也可以爬取外网 爬虫编写 需求 做一个通用爬虫，根据github的搜索关键词进行全部内容爬取。 代码 首先开启爬虫ip，在设置中修改HT ......
如何构建通用的垂直爬虫系统？
对于一个资深程序员来说写一个爬虫其实很简单，如何写一个稳定持续运行的爬虫也不难，但是如果构建一个通用化的爬虫平台系统将为后面的工作节省很多时间。 这篇文章，我就来和你分享一下，一个通用垂直爬虫平台的构建思路。 首先介绍一下，什么是爬虫？ 搜索引擎是这样定义的： 网络爬虫（又被称为网页蜘蛛，网络机器人 ......
Lua基础语法学习笔记
Lua是一门语言，我们可以使用一个库，可以在运行时去编译执行Lua中的代码，从而实现自己的内存中的数据和逻辑； 准备学习环境： 新建一个Lua项目目录，用来写我们的Lua代码； 进入目录，右键使用vsCode打开 或者，先打开vsCode，然后 文件->打开文件夹 ，选择我们的项目目录； 为vsCo ......
Python爬虫 Pyppeteer模拟登录（带验证码识别）
Python爬虫 Pyppeteer模拟登录（带验证码识别） 需求 绕过登录验证码或自动登录 参考 主流网站 Python 爬虫模拟登陆方法汇总 - 知乎 (zhihu.com) python爬虫_hwwaizs的博客-CSDN博客 技术路线 1 request 本地请求 实现基于python的We ......
爬虫进阶之多线程爬虫问题详解
大多数正常人在下载图片的时候都是一个一个点击保存，图片越多花费的时间越多，大大的降低了工作效率。如果是学了爬虫的，一定会想到多线程来自动下载保存图片。 多线程介绍： 多线程是为了同步完成多项任务，通过提高资源使用效率来提高系统的效率。线程是在同一时间需要完成多项任务的时候实现的。 将多线程这种比喻成 ......