爬虫 手段 常见
MySql常见问题和描述
1 数据库的三范式是什么 第一范式：列不可再分 第二范式：行可以唯一区分，主键约束 第三范式：表的非主属性不能依赖与其他表的非主属性 外键约束 且三大范式是一级一级依赖的，第二范式建立在第一范式上，第三范式建立第一第二范式上。 2 数据库的事务 什么是事务？： 多条sql语句，要么全部成功，要么全部 ......
Spring Boot常见问题描述
1 什么是SpringBoot？为什么要用SpringBoot 用来简化spring应用的初始搭建以及开发过程 使用特定的方式来进行配置（properties或yml文件），创建独立的spring引用程序 main方法运行。 （1）独立运行：Spring Boot而且内嵌了各种servlet容器，T ......
常见的计算机网络模型
一、什么叫计算机网络模型 计算机网络是指由通信线路互相连接的许多自主工作的计算机构成的集合体，各个部件之间以何种规则进行通信，就是网络模型研究的问题。 二、常见的计算机网络模型 1、OSI七层模型(Open System Interconnection：开放系统互连) 应用层：应用程序与网路的接口， ......
phpspider爬虫框架的使用
最近使用PHP的爬虫框架爬取了一个项目，总体来说还是很方便的，首先我会把phpspider框架文档记录下来给大家参考。 使用方法其实在文档中写的很清楚而且在demo中也有使用示例。 <?php include "./autoloader.php"; use phpspider\core\phpspi ......
四个常见的Linux面试问题
四个常见的Linux面试问题。刚毕业要找工作了，只要是你找工作就会有面试这个环节，那么在面试环节中，有哪些注意事项值得我的关注呢？特别是专业技术岗位，这样的岗位询问一般都是在职的工程师，如何在面试环节更好地理解面试官的问题，我们一起往下看吧。在学校学习也好，在培训机构或者网络在线学习也好，无论是通过 ......
四个常见的Linux面试问题。
刚毕业要找工作了，只要是你找工作就会有面试这个环节，那么在面试环节中，有哪些注意事项值得我的关注呢？特别是专业技术岗位，这样的岗位询问一般都是在职的工程师，如何在面试环节更好地理解面试官的问题，我们一起往下看吧。 在学校学习也好，在培训机构或者网络在线学习也好，无论是通过那种途径，经过很长一段时间学 ......
【故障公告】下班前的一场暴风雨，爬虫爬至园宕机
下班前的一场暴风雨，让园子一片狼藉。顶着暴风雨，加了服务器，但无济于事。情急之中，断蛛求生立转机。今天下班前的 17:00~17:30 左右，身份未明的爬虫暴风雨般地袭击园子，造成数据库连接过万，全站宕机，由此给您带来很大的麻烦，请您谅解。最终我们通过给百度蜘蛛断网才恢复正常，造成暴风雨的爬虫不一定... ......
Spring常见问题描述
1 渊源 原型在200210由Rod Johnson发布的书中体现，后来在200403spring 1.0版本发布，201709spring 5.0发布， （1）spring ioc 控制反转，管理容器中的bean，主要使用di依赖注入实现。 工厂模式，通过sessionFactory去注入实例。 ......
【面试】常见的 SQL 调优方法
使用索引：确保数据库表中的索引被正确地创建和使用。 优化查询：尽可能使用更简单、更高效的查询语句，避免使用复杂的联合查询。 分区：将表分成几个部分，以提高查询效率。 缓存：使用缓存减少数据库负载，提高性能。 数据库结构优化：修改数据库结构，以减少复杂性和冗余数据。 优化服务器硬件：选择更快的 CPU ......
Linux操作命令常见问题（N+）
1. 什么是Linux？它的特点是什么？ 答：Linux是一种开源的操作系统，其特点包括稳定性、安全性、灵活性、可扩展性、自由度高等。 2. 如何在Linux系统上安装软件？ 答：通常可以使用包管理器，例如yum、apt-get等，在命令行下执行相应的安装命令。也可以手动下载软件包，解压缩后进行编译 ......
几种常见的建模方式：Polygon、NURBS曲面、Parametric参数化.md
原文：https://zhuanlan.zhihu.com/p/355123553 三维建模（3D Modeling），通过三维制作软件通过虚拟三维空间构建出具有三维数据的模型。 通常情况根据行业需求的不同可以分为：多边形建模（Polygon Modeling）、参数化建模（Parametric M ......
MyBatis常见问题描述
1 什么是MyBatis Mybatis是一个半ORM（对象关系映射）框架，它内部封装了JDBC，开发时只需要关注SQL语句本身，不需要花费精力去处理加载驱动、创建连接、创建statement等繁杂的过程。程序员直接编写原生态sql，可以严格控制sql执行性能，灵活度高。 2 MyBatis优缺点 ......
【杂谈3】企业中项目管理常见的问题，PMO视角（欢迎大家追加，我将会借此梳理我的知识图谱，总结后输出）
【需求】 1：什么需求都紧急，什么需求都重要。 2：做之前评估很有意义，做完之后效果平平。 3：有些商业指标一直在说优化，投入很多资源。但没次等到上线就出问题，大型活动就降级。出问题就说是别人的问题（无解耦），有效果就是自己的提升。 4：总有需求在项目启动中后期要插入，大领导总认为大家在瞎忙活，他那 ......
Java网络爬虫，制造虚拟数据
网络爬虫，制造假数据 需求：制造假数据也是开发中的一个能力，在各个网络上爬取数据，是其中一个方法。 package com.iolianxi; import java.io.*; import java.net.URL; import java.net.URLConnection; import j ......
Python爬虫基础教程2
beautifulsoup4介绍/遍历文档树 bs4 > 从html或xml文件中提取的python库 用它来解析爬取回来的xml 安装：pip install beautifulsoup4 pip install lxml > 解析库 soup=BeautifulSoup('要解析的内容str类型 ......
常见sql问题总结（一）
问题以及表结构来自：https://www.cnblogs.com/wupeiqi/articles/5729934.html -- 查询学生本人“生物”课程比“物理”课程成绩高的所有学生的学号；SELECT * FROM ((SELECT * FROM score WHERE corse_id i ......
爬虫实战 使用python爬取政府公开政策文本
目标：爬取北京市公开发布的所有人才引进相关的政策文本 准备：1、环境Python 3.7，2、使用selenium库中的webdriver，3、安装对应版本的chromedriver url：在北京市人民政府网站上，人才引进相关政策的url地址是：https://www.beijing.gov.cn ......
华为交换机常见命令
system-view 进去特权模式 sysname s1 设置交换机名称 vlan 名称 创建vlan名称 vlan batch 名称1 名称2 名称3 创建多个vlan int g0/0/1 进入0/0/1接口 port link-type access 设置接口类型access port de ......
多线程常见问题描述
1 多线程优点 可以重复利用已有的线程继续执行任务，避免线程在创建和销毁时造成的消耗 调整可运行线程数量的大小 2 工作原理 提交任务->核心线程池是否已满->（未满）创建线程执行任务 ->（已满）阻塞队列是否已满->（已满）将任务存储在队列中 ->（未满）线程池是否已满->（未满）创建线程执行任务 ......
各编程语言做个简单爬虫
编程语言有很多种，想要全部学会简直天方夜谭，而且每个细分领域有很多要学习的知识，所以对于新手来说一定要专注一个领域学透学扎实了。下面几种语言做的一些简单爬虫，大家可以参考下。 Python 简单爬虫 import requests, re if __name__ == "__main__": r = ......
初学多线程爬虫
多线程在爬虫中应用非常广泛，对于中大型项目来说很有必要，今天我将以初学者的姿态来完成一个简单的多线程爬虫程序。 1、如何认识多线程 计算机完成一项或多项任务，往往可以存在很高的并行度：若是多核处理器则天然的可以同时处理多项事务，若是单处理器时其实也可以分时隙处理多任务，此时虽然在某一时间点上确实是不 ......
前端性能优化的七大手段
前言 性能优化是我们前端的必备知识，可以说是每个人必须会的知识了，不仅平时会用到，连面试都会问到。那如何优化前端的性能呢？总共有七大手段 七大手段包括减少请求数量、减小资源大小、优化网络连接、优化资源加载、减少重绘回流、使用性能更好的API和构建优化 减少请求数量 【合并】 如果不进行文件合并，有如 ......
爬虫学习11之js逆向
一、 js逆向之MD5加密算法 MD5：一种哈希算法。 哈希算法，即hash，又叫散列算法，是一类把任意数据转换为定长（或限制长度）数据的算法统称。 特点： 1. 长度固定：固定生成16进制的32位或者16位的数据； 2. 易计算：开发者很容易理解和做出加密工具； 3. 细微性：一个文件，不管多大， ......
python多维列表索引的常见问题
这点颇为让人头疼，最主要的问题是一些其他的常见库，比如numpy的数组，它添加了一些python原版列表没有的用法，然而我们经常忘了原版列表其实是没有这些用法的，导致程序错误。 numpy可以把取所有维度的操作放到一个方括号里，然而python原版list不行： # numpy数组 import n ......
深度学习—常见的卷积操作和卷积神经网络
各种常见的卷积操作 0、三种模式及输出矩阵尺寸计算 W输入矩阵宽，w是卷积核的大小，p是padding的数值，stride是滑动步幅 Full 补k-1圈 ：w0 =（ | W | - w + 2p ）/ stride + 1 Same 补若干圈：w0 = ceil（ | W | / stride） ......
JS中出现undefined与null几种常见情况
JS中出现undefined与null几种常见情况 原文链接：https://blog.csdn.net/CherryLee_1210/article/details/78419747 在我们执行JS的一些代码的时候，有的时候就会有一些结果出现null和undefined。我就为大家总结了一些常见的 ......
毕业论文常见数据格式汇总
今天将各个模块中，具有代表性的分析方法的数据格式进行一个汇总说明，本文主要介绍以下内容： 一、规范格式说明 1、原始数据格式 我们在进行数据分析时，最常见的数据格式是原始数据格式。 下图是一份常见的原始数据，它的特点是：一行代表一个样本，一列代表一个属性（变量）。 原始数据格式的特点是，调查有多少 ......
Spring Aop 常见注解和执行顺序
Spring Aop 常见注解和执行顺序 IOC、AOP、Bean注入、Bean的生命周期、Bean的循环依赖 首先我们一起来回顾一下 Spring Aop 中常用的几个注解： @Before 前置通知：目标方法之前执行 @After 后置通知：目标方法之后执行（始终执行） @AfterReturn ......
爬虫学习10之scrapy_redis
scrapy_redis 首先redis是一种数据库类型，其有字符串、列表、集合、哈希等数据类型，满足scrapy engine调度以及去重的功能。 redis数据库基本操作： 启动客户端：redis-cli list添加一个元素：LPUSH key vaule 查看长度：llen name 查看所 ......