数据 爬虫 二手房python
opencv-python 3 图像的算术运算
图像的加法 你可以使用OpenCV的cv.add()函数把两幅图像相加，或者可以简单地通过numpy操作添加两个图像，如res = img1 + img2。两个图像应该具有相同的大小和类型，或者第二个图像可以是标量值。 注意：OpenCV加法和Numpy加法之间存在差异。OpenCV的加法是饱和操作 ......
python stata转mysql
import numpy as np import pyreadstat as pyreadstat import json,re,random,pymysql,configparser,sys import pandas as pd from duconfig import read_ini de ......
pg数据库对分区表的pg_dump备份和psql还原
原文：http://www.weijingbiji.com/1975/PostgreSQL备份工具pg_dump和pg_dumpallPostgreSQL, 数据库 / 作者： vikingPostgreSQL使用 pg_dump 和 pg_dumpall 进行数据库的逻辑备份，pg_dumpall ......
python 进程、线程、协程之间的区别
看文字实在是太枯燥了，我整点儿花里胡哨的的颜色，希望看起来能轻松一点。 1. 概念（绕口） 进程： 进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动，进程是系统进程资源分配和调度的一个独立单位。每个进程都有自己的独立空间，不同进程通过进程间通信来通信。由于进程比较重量，占据独立内存，所以 ......
来说一个技术点，List作为参数数据丢失问题
下面方法，执行foo1，结果会是什么？ private void foo1() { List<String> list =new ArrayList<>(); foo2(list); System.out.println(" outside="+list); } private void foo2( ......
python基础
以#开头的语句是注释，注释是给人看的，可以是任意内容，解释器会忽略掉注释。其他每一行都是一个语句，当语句以冒号:结尾时，缩进的语句视为代码块。 按照约定俗成的惯例，应该始终坚持使用4个空格的缩进。在文本编辑器中，需要设置把Tab自动转换为4个空格，确保不混用Tab和空格。 缩进的坏处就是“复制－粘贴 ......
《SQL与数据库基础》22. 分库分表（二）
(分库分表（二）) 本文以 MySQL 为例。以 MyCat 数据库中间件为例，通过 MyCat 来完成分库分表操作。 分库分表（二） MyCat分片规则 范围分片 根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片。 该分片规则，主要适用于数字类型的字段。 配置： sch ......
Django 大数据 orm 操作 - 报错及解决方法记录
报错： django.db.utils.OperationalError: (1153, "Got a packet bigger than 'max_allowed_packet' bytes") 解决方法： 修改 mysql 配置文件的 max_allowed_packet 配置参数（注意这里是 ......
6 - Windows 10 - CPython - 获取 I_O 密集型 多线程的返回值 - 线程池、简单多线程 - 爬虫
@(目录) 测试环境： 操作系统： Window 10 工具：Pycharm Python: 3.7 一、多线程的 ......
3 - 线程 - Windows 10 - Python - 守护线程 _ 后台线程 _ 精灵线程
@(目录) 测试环境： 操作系统： Window 10 工具：Pycharm Python: 3.7 一、守护线程 / 后台线程 / 精灵线程 首先讲解守护线程。 有一种线程，它是在后台运行的，它的任务是为其他线程提供服务，这种线程被称为“后台线程（Daemon Thread）”，又称为“守护线程” ......
5 - 线程 - Windows 10 - Python 的 5 种线程锁 - 控制线程切换
@(目录) 测试环境： 操作系统： Window 10 工具：Pycharm Python: 3.7 一、线程安全 一个程序运行，指的是运行一个可执行文件，这里我们是介绍python，就指py脚本文件吧。 在运行py文件的过程中，系统为了执行这个py脚本文件，会为这个py脚本文件开一个进程，也就是赋 ......
Centos 7 - 第一次登陆 Mysql 数据库 修改密码问题 ERROR 1045 (28000) - 临时生效方法
这里第一次安装mysql容易出现报错： ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using passwor ==解决方法如下：== 1. 修改mysql的初始密码（有两种方法） 1.1 第 1 种方法 （不推荐，无 ......
2 -进程-Windows 10 -Python - multiprocessing 两种方法实现多进程 - 进程池 _ 简单Process _ -守护进程堵塞join 与 sleep()线程睡眠堵塞
@(目录) 测试环境： 操作系统： Window 10 工具：Pycharm Python: 3.7 一、进程池 其实在使用多进程的时候，感觉使用pool是最方便的，在多线程中是不存在pool的。 在使用pool的时候，可以限制每次的进程数，也就是剩余的进程是在排队，而只有在设定的数量的进程在运行， ......
Python数据库操作—— PostgreSQL
使用pip3安装psycopg2 pip install psycopg2 增删改查（CRUD）新建数据库PostgreSQL不支持"SHOW DATABASES"语句，需要使用"SELECT * FROM PG_DATABASE;"进行查询，才能获取当前数据库列表，由于这里只需要做创建数据库前后的 ......
1 - Windows 10 - Python 类的常用高级系统函数(方法)通识
@(类的系统函数目录) 测试环境： 操作系统： Window 10 工具：Pycharm Python: 3.7 一、系统函数__init__() 初始化类函数 功能： 使用该__init__()类系统方法可以在创建类的实例化对象时，可以初始化对象 —— 传递参数(该类的全局变量)，参数可以是函数对 ......
GO实现Redis：GO实现内存数据库（3）
实现Redis的database层（核心层：处理命令并返回） https://github.com/csgopher/go-redis datastruct/dict/dict.go type Consumer func(key string, val interface{}) bool type ......
1 - 进程 - Windows 10 - Python - multiprocessing - 简单多进程切换、进程传参、异步进程、守护进程(进程睡眠_堵塞和线程堵塞的区别)、主_子进程区分
@(目录) 测试环境： 操作系统： Window 10 工具：Pycharm Python: 3.7 一、单进程 一般来说我们运行可执行文件，如脚本文件等，就相当于是在运行一个进程，系统会自动分配资源给这个文件运行，而这个进程就是父进程，或者说是主进程，跟线程差不多，有主线程和子线程，所以有了主进程 ......
查询postgresql的当前数据库、用户名、版本、IP地址和端口号
查询当前数据库： select current_database(); 查看数据库的连接地址和端口： select inet_server_addr(),inet_client_port(); 查看当前用户名： select current_user; 查看当前版本： select version( ......
基于GPT3.5实现本地知识库解决方案-利用向量数据库和GPT向量接口-实现智能回复并限制ChatGPT回答的范围
标题有点长，但是基本也说明出了这篇文章的主旨，那就是利用GPT AI智能回答自己设置好的问题 既能实现自己的AI知识库机器人，又能节省ChatGPT调用的token成本费用。 代码仓库地址 document.ai: 基于GPT3.5的通用本地知识库解决方案 下面图片是整个流程： 导入知识库数据 利用 ......
C# +SQL 存储过程 实现系统数据权限审查AOP效果
背景： 1、C/S系统架构 2、前端 Extjs 3、后台C# 4、数据库SQL 前端通过ajAx请求与后台通信。 前端应用页面统一继承入口类 BasePage 应用页面 public partial class xxxxxxx :BasePage { //y业务代码...... } BasePag ......
数据迁移ETL工具，用这8种就够了!
前言 最近有些小伙伴问我，ETL数据迁移工具该用哪些。 ETL(是Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)，对于企业应用来说，我们经常会遇到各种数据的处理、转换、迁移的场景。 今天特地给大家汇总了一些目前市面上比较常用的ETL数据迁移工具，希望对你会有所帮助 ......
数据库批量快捷查询
数据库批量快捷查询 select 'update [dbo].[BuilderTableColumn] set Width=''120'' where TableName=''LoopPlan'' and Comment=''' + Comment+ '''' from [dbo].[Builder ......
SQL SERVER 数据库表添加字段，修改字段类型
SQL SERVER 数据库表添加字段，修改字段类型 --wms入库单表添加字段 alter table [dbo].[WMS_StockInMaster] add DeliveryMasterId int alter table [dbo].[WMS_StockInMaster] add Orde ......
Python 自动识别并批量转换文本文件编码
如题，很简单，就是先用chardet 库识别文件编码，解码之后再输出成目标编码。算是个偶尔能用上的小工具，要用的时候万一没有就很难受的那种，比如，网上下载了别人的项目文件，一打开全是乱码…… 代码 加了比较详细的注释~~ 看懂的要求应该不高，平时用过Python，知道几个常用库就行。 from pa ......
mycat配置数据库集群
mycat配置数据库集群 所有的集群配置，都必须配置多主多从模式，即多个master节点相互之间配置主从，如，master1和slave1为第一组主从，master2和slave2为第二组主从，master1和master2互为对方的主从。 如下配置方式为两个主从模型，两个writeHost互为主从 ......
Python 离线环境
一、应用场景 比如：对于数据安全要求比较严格的机房，服务器是不允许上网的。那么我现在开发了一套python程序，需要一些模块，怎么运行？ 二、离线包制作 有2个解决方案： 1. 使用requirement.txt离线安装打包好的包whl 请参考链接：https://blog.csdn.net/wan ......
python gevnt实现协程
gevent 也是第三方库，自行调度协程，自动试别程序的耗时操作。比如读文件，等待时间。 代码举了个栗子 from gevent import monkey monkey.patch_all() import time import gevent def work1(): while True: p ......
Python小练习：Sinkhorn-Knopp算法
Python小练习：Sinkhorn-Knopp算法 作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 本文介绍Sinkhorn-Knopp算法的Python实现，通过参考并修改两种不同的实现方法，来真正弄懂算法原理。详细的原理部分可参考文末给出的参考文 ......
大数据之—Flink环境搭建
前言 参考：https://blog.csdn.net/weixin_44385486/article/details/124197370 运行模式 local:单机模式，尽量不使用 standalone: flink自带集群，资源管理由flink集群管理，开发环境测试使用 flink on yar ......