数据 爬虫 二手房python
如何根据需求选择合适的数据库管理工具？Navicat OR DBeaver
1.写在前面 在阅读本文之前，糖糖给大家准备了Navicat和DBeaver安装包，在公众号内回复“Navicat”或“DBeaver”或"数据库管理工具"来下载。 2. 引言 对于测试而言，在实际工作中往往会用到数据库，那么选择使用哪种类型的数据库管理工具显的尤为重要，我们常用的数据库管理工具有N ......
爬取的数据存mysql中、加代理，cookie，header，加入selenium、布隆过滤器、scrapy-redis实现分布式爬虫
上节回顾 # 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 - ......
scrapy架构介绍、scrapy解析数据、settings相关配置、持久化方案
上节回顾 # 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 ......
爬虫介绍、request模块、自动登录、携带cookie的两种方式、requests.session的使用、响应Response对象
今日内容 爬虫介绍 request模块介绍 request发送get请求 request携带参数 url编码解码 携带请求头 发送post请求，携带数据 自动登录，携带cookie的两种方式 requests.session的使用 补充post请求携带数据编码格式 响应Response对象 编码问题 ......
python列表中元素的排序
''' l.sort() 用于对原列表进行排序，如果指定参数，则使用比较函数指定的比较函数 语法：l.sort(cmp=None, key=None, reverse=False) 参数： cmp：可选参数, 如果指定了该参数会使用该参数的方法进行排序。 key：主要是用来进行比较的元素，只有一个参 ......
自定义排序之数据库设计
原文链接：自定义排序之数据库设计 之前做过的项目有项需求，就是要对一个普通的列表进行自定义排序功能，当初构思了几个方案，各有所长，按需使用，下面就一一来介绍这几个方案。 注：这里的自定义排序就是操作列表的某项进行位置交换。 1. 单表单列结构（数组结构） 此设计是使用一个表中的一列来表示数据的序号， ......
数据库实验课
```sql /* SQLyog Community v13.1.6 (64 bit) MySQL - 8.0.32 : Database - studb ********************************************************************* */ ......
flask的sqlalchemy快速插入数据、scoped_session线程安全、基本的增删查改、一对多、多对多、连表查询
今日内容 sqlalchemy快速插入数据 scoped_session线程安全 基本的增删改查 一对多 多对多 连表查询 1 sqlalchemy快速插入数据 # sqlalchemy是什么 ORM框架，跟其他web框架没有必然联系，可以独立使用 # 安装，快速使用，执行原生sql # 创建表和删 ......
python3 协程 async await用法
Python 3 中的协程是异步编程的一种形式，它允许您在代码中创建可暂停的函数，以便其他任务可以运行，而不会阻塞程序的执行。async/await 是 Python 3.5 之后引入的语法，用于编写协程。 下面是一些协程和 async/await 的用法示例： 使用 async 关键字定义协程函数 ......
flask蓝图、g对象、数据库连接池
昨日回顾 # 1 cbv 使用 写一个类继承MethodView，写get，post... 类属性decorators = [auth,]可以加装饰器 # 2 cbv执行流程 1 跟django流程一样 2 entpint 作用路径别名，add_url_rule(view_func=Index.as ......
数据按位赋值 至0 至1
由于编译器默认signed int即32位有符号整数类型,而1<<31实际为0x80000000, 这样就有可能改写了符号位(最高位) 依此类推,(2<<30),(3<<29)...等都会出现编译警告问题. 解决办法为: ((unsigned int)1<<31),((unsigned int)2< ......
JDBC 9 步连接数据库
Java Database Connectivity JDBC 9 步实现连接 MySQL 数据库示例： 一、配置文件： username = 用户名 password = 密码 jdbcURL = jdbc:mysql://192.168.1.2:3306/数据库名?useUnicode=true ......
vue全家桶进阶之路31：Vue3定义单个数据和方法
在 Vue 3 中，你可以使用 setup 函数来定义组件的数据和方法。在 setup 函数中，你可以使用 ref、reactive 和 computed 等 Vue 3 的响应式 API 来定义数据，并返回一个包含你需要公开的数据和方法的对象。下面是一个例子： import { defineCom ......
Python+PyCharm+Anaconda环境搭建
#相关准备 #python: 1.python环境搭建 https://www.python.org/downloads/ 前往官网下载所需版本,如果只是学习下载最新版本即可,有具体需求可以搜索相关需求版本进行下载 PS:python是免费的,不需要花钱购买 2.安装问题 需要注意的点:路径选择一个 ......
微信小程序开发 里面的设置globalData全局数据
设置globalData全局数据 当我们有需要全局都能访问到的数据的时候 可以使用globalData来存储，比如我的接口域名等等，这样就可以随时去更换了 app.js App({ globalData:{ apiUrl:"https://wwwx.com"; Person:null } }) 使用 ......
python扩展库pymysql
1.pymysql安装 安装:pip install pymysql 补充命令： 查看当前已经安装的所有模块和库：pip list 卸载pymysql库：pip uninstall pymysql 更新某个库：pip install 库名 -U 2.pymysql基础操作 import pymysq ......
python中使用uuid.uuid1（）和uuid.uuid4（）
我从文档中了解了两者之间的差异 https://docs.python.org/2/library/uuid.html https://docs.python.org/3/library/uuid.html uuid1()： 从主机ID，序列号和当前时间生成UUID uuid4()： 生成随机UUI ......
c# winform dev控件 DateEdit 禁用鼠标滑动滚动数据
在代码中新增一个事件 edt_DATE.Spin += new Devexpress.XtraEditors.Controls.SpinEventHandler(colSum_spin); private void colSum_spin(object sender,Devexpress.XtraE ......
【python-docx】添加表格、合并单元格、设置样式
1.表格1.1 添加表格添加表格很简单，只需要调用一下add_table()即可，返回一个Table对象，参数可以指定行、列、样式 from docx import Document doc = Document()# 添加一个5行3列的表格，样式是网格实线table = doc.add_table ......
C# WPF数据绑定方法以及重写数据模板后数据绑定
写在前面 本文将会介绍WPF如何实现前后端数据绑定和在进行数据绑定时常用的方法和类以及对于DataGrid、ListView这样的控件重写数据模板后控件如何进行数据绑定。 本文主要针对于数据绑定的基础实现进行介绍，通过此博文你将会有能力编写一个MVVM设计模式的C#、WPF项目。如果您是C#及WPF ......
leaflet.openPopup() 方法传入参数是个模板字符串，如何将其改为使用vue的模板实现，可以支持数据双向绑定
注：这个问题是我使用cursor得到的回答。 问：leaflet.openPopup() 方法传入参数是个模板字符串，如何将其改为使用vue的模板实现，可以支持数据双向绑定 为了将 this.map.openPopup() 方法中的字符串模板替换为支持双向数据绑定的 Vue 模板，您可以使用 Vue ......
1 redis介绍 、2 redis linux下安装 、3 redis启动方式、4 redis典型场景 、5 redis通用命令 、6 数据结构和内部编码 、7 redis字符串类型
1 redis介绍 # 特性 Redis特性（8个） # 速度快：10w ops（每秒10w读写），数据存在内存中，c语言实现，单线程模型 # 持久化：rdb和aof # 多种数据结构： 5大数据结构 BitMaps位图：布隆过滤器 本质是 字符串 HyperLogLog：超小内存唯一值计数，12k ......
发现Mysql的主从数据库没有同步，差点凉凉了
摘要：今天发现Mysql的主从数据库没有同步，瞬间整个人头皮发麻。 本文分享自华为云社区《糟了，生产环境数据竟然不一致，人麻了！》，作者：冰 河 。 今天发现Mysql的主从数据库没有同步 先上Master库： mysql>show processlist; 查看下进程是否Sleep太多。发现很正常 ......
python中列表常见的操作方法
一、添加元素的方法 1.append()方法 # l.append() 用于在列表末尾添加新的对象, 返回值：该方法无返回值，但是会修改原来的列表 l = [1, 2, 3, 4, 5] l1 = [6, 7, 8] l2 = {"age": "12"} l3 = '年后,nihao' l4 = ( ......
python s12 day13 JavaScript、Dom和jQuery
1.JavaScript JavaScript是一门编程语言，浏览器内置了JavaScript语言的解释器，所以在浏览器上按照JavaScript语言的规则编写相应代码之，浏览器可以解释并做出相应的处理。 1、JavaScript代码存在形式 <!-- 方式一 --> <script type"te ......
拼多多根据ID获取商品详情页简版数据 API 接口返回值说明
准备工作： 1）获取一个key和secret。 2）然后登录请求地址选择需要该接口。 3）输入自己的key和secret，对接口进行测试。从而了解返回信息，方便程序获取。 item_get_easy-根据ID获取商品详情页简版数据 公共参数 名称 类型 必须 描述 key String 是 调用ke ......
将模板填充数据并转换成字符串
方案1：springboot集成freemarker https://www.cnblogs.com/lipg/p/13761588.html 方案2:参照Mybatis 手写功能 原始请求：拼接XML字符串发送请求 解决方案设计：像mybatis一样写XML文件 然后#{}的方式注入值 唯一区别就 ......
m1--安装python2
brew install pyenv ## 这样更快 如果在国外 这步可以跳过 cd ~/.pyenv wget https://www.python.org/ftp/python/2.7.18/Python-2.7.18.tar.xz mkdir cache cp Python-2.7.18.ta ......
node操作数据库
下载安装mysql 下载安装Navicat 连接mysql mysql增删改查 数据库表设计考虑因素 1.表关系 * 一对多关系 * 多对多关系 一对多关系 举例：手机品牌和手机产品的关系--一个品牌下有好多手机产品 brand设计表 以id为表主键，字段brand,type,logo brand表 ......