数据 爬虫 二手房python
《oracle马拉松》plsql篇-plsql连接数据库的三种方式
本地pc机上的plsql连接本地Oracle库和其他远程环境的Oracle database库，都必须通过本地pc机上的client配置连接，client连接有三种配置方式： 方式一：只需要在本地安装oracle client的tnsnames.ora文件中，添加TNS（连接串）即可； tnsnam ......
【Python】连接MySQL报错：RuntimeError 'cryptography' package is required for sha256_password or caching_sha2_password auth methods解决方案
✨报错提示 RuntimeError: 'cryptography' package is required for sha256_password or caching_sha2_password auth methods ✨解决方案 pip install cryptography ⭐转载请注明 ......
Go01-开发环境搭建+注释+基本数据类型+指针+命名规范
Go01-开发环境搭建+注释+基本数据类型+指针+命名规范 1.Go常用网站 https://www.topgoer.com/，Go学习网站，包含Go基础教程、beego、lris等Go开发常用框架。 Go开发软件下载：https://code.visualstudio.com/，VSCode；ht ......
python面试题汇总
1、Python 中类方法、类实例方法、静态方法有何区别？ 类方法：是类对象的方法，在定义时需要在上方使用“@ classmethod”进行装饰，形参为 cls，表示类对象，类对象和实例对象都可调用 类实例方法：是类实例化对象的方法，只有实例对象可以调用，形参为 self，指代对象本身 静态方法：是 ......
关于python爬虫的一些面试题积累
1、描述下 scrapy 框架运行的机制？ 从 start_urls 里获取第一批 url 并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理： (1) 如果提取出需要的数据，则交给管道文件处理 ......
【故障公告】数据库服务器 CPU 近 100% 造成全站故障，雪上加霜难上加难的三月
数据库服务器 CPU 近 100% 问题几乎每年都要发生一次，上次发生在去年1月31日，每次都是通过主备切换或者重启实例解决。今年这个问题真会找时间，在园子非常困难的时期，在昨天刚刚因疯狂蜘蛛袭击被整得精疲力尽之后，在星期天早上难得睡个懒觉的时候，在今天早上 8:30 左右来袭。 ......
我想用gin开发一个使用redis和数据库的系统。 我应该如何进行架构设计？
在设计使用 Redis 的系统和使用 Gin 的数据库时，需要牢记几个架构注意事项。 这是一个可能的架构设计： API 层：API 层处理传入的请求并提供响应。 该层负责验证输入、验证用户并将请求路由到适当的服务层。 服务层：服务层包含应用程序的业务逻辑。 它应该负责与 Redis 和数据库进行交互 ......
AVA应用项目从ORACLE数据库到达梦数据库的迁移及适配
转载：JAVA应用项目从ORACLE数据库到达梦数据库的迁移及适配_oracle切换到达梦数据库配置文件修改_tanst的博客-CSDN博客 JAVA应用项目从ORACLE数据库到达梦数据库的迁移及适配 本文针对笔者在工作中对JAVA应用项目在信创适配时，将应用从ORACLE数据库迁移到达梦数据库过 ......
python 判断如果是缺失值则改为99999
import numpy as np iux=np.nan_to_num(row[ii],nan=99999)#判断如果是缺失值，则改为99999 ......
Redis主从集群切换数据丢失问题如何应对？
数据丢失的情况 异步复制同步丢失 集群产生脑裂数据丢失 异步复制丢失 对于Redis主节点与从节点之间的数据复制，是异步复制的，当客户端发送写请求给master节点的时候，客户端会返回OK，然后同步到各个slave节点中。 如果此时master还没来得及同步给slave节点时发生宕机，那么maste ......
支持10倍订单增长，携程数据库架构升级实践
随着机票订单业务的不断增长，当前订单处理系统的架构已经不能满足日益增长的业务需求，系统性能捉襟见肘，主要体现在以下方面：
数据库CPU资源在业务高峰期经常达到50%以上，运行状况亮起了黄灯；
磁盘存储空间严重不足，需要经常清理磁盘数据腾挪可用空间；
系统扩容能力不足，如果需要提升处理能力只能更换配置... ......
Python的私有变量的访问
class A: def __init__(self,x): self.__x=x y=5 a = A(10) print(a._A__x) class D: def __func(self): print("hello world") d=D() print(d._D__func()) _单个下横 ......
深入理解 Python 虚拟机：字典（dict）的优化
在前面的文章当中我们讨论的是 python3 当中早期的内嵌数据结构字典的实现，在本篇文章当中主要介绍在后续对于字典的内存优化。 ......
GFS数据抽取与导出至MYSQL
前言：近期，公司APP需要接入天气类数据，多方寻找，终于找到一个开源的且有较高权威的、免费的数据源，中间踩过的一些坑一一记录下来。 1.数据来源GFS（全球天气预报系统(Global Forecasting System)），该系统每天发布4次全球范围的气象数据，分辨率有四种：0.25° x 0.2 ......
Python类的继承问题
一个很经典的关于类的继承的分析 class Displayer: def display(self,message): #3：跳转到此，打印 print(message) class LoggerMixin: def log(self,message,filename="logfile.txt"): ......
nginx 进行tcpip 数据端口映射
TCP port mapping stream{ upstream tcpLink { hash $remote_addr consistent; server xxx:3306 weight=5 max_fails=3 fail_timeout=30s; } server { listen 700 ......
【Python】控制台彩色输出工具类
✨Python控制台彩色输出工具类封装 之前介绍了 Logging不同颜色日志输出的 【Python】Logging模块简介 & 开启不同颜色日志输出 - 双份浓缩馥芮白 - 博客园 (cnblogs.com) 由于有的项目中本来就封装了日志工具类（例如yolov5） 或者是某些方法内部会修改log ......
Python 批量翻译图片 附详细代码
环境：Python3.7 原文链接：Python 批量翻译图片 附详细代码_艽野尘梦better的博客-CSDN博客 有道智云API 想要批量翻译图片，并将翻译内容合并在原图片上，即不改变图片背景，翻译图片中的英文（例如下面两张图），我们可以使用有道智云（当然也有网易有道词典、搜狗、QQ截图翻译和微 ......
.NET 通过Word模板，使用AsposeWord进行数据动态导出Word
@ 先看一下导出的整体效果（如下图），其中标注的区域都是通过后台动态生成的： 一、先在Word中建立好表格模板 1.1、参数创建方法（Word和WPS） 1.1.1、Office中Word域的创建 1.1.1.1、选中指定的单元格 -> 点击头部工具栏中的”插入“ -> 选择 ”文档部件“ -> 选 ......
数据结构（1）
单链表 #include <iostream> using namespace std; const int N = 1e6+10; int shuzhi[N], next_position[N]; int head, idx ; //头结点下标、当前的下标 void init() { head = ......
机器学习算法（五）：基于企鹅数据集的决策树分类预测
决策树的主要优点：
1. 具有很好的解释性，模型可以生成可以理解的规则。
2. 可以发现特征的重要程度。
3. 模型的计算复杂度较低。
决策树的主要缺点：
1. 模型容易过拟合，需要采用减枝技术处理。
2. 不能很好利用连续型特征。
3. 预测能力有限，无法达到其他强监督模型效果。
4. 方差... ......
数据类型-Sorted Set（待补充）
Redis为什么使用skiplist而不是平衡树 Redis中的skiplist主要是为了实现sorted set相关的功能，红黑树当然也能实现其功能，为什么redis作者当初在实现的时候用了skiplist而不是红黑树、b树之类的平衡树？ 而且显然红黑树比skiplist更节省内存啊！ Redis ......
CentOS7环境下数据库运维---主从复制、读写分离
1.理解MySQL主从复制原理 主服务器开启binlog日志，从库生成log dump线程，将binlog日志传给从库I/O线程，从库生成俩个线程，一个是I/O线程，一个是SQL线程，I/O线程去请主库的binlog日志，并将binlog日志中的文件写入relay log中，sql线程会读取rela ......
数据结构-跳表
数据结构 /* ZSETs use a specialized version of Skiplists */ typedef struct zskiplistNode { sds ele; double score; struct zskiplistNode *backward; struct z ......
数据结构（第二章）
数据结构（第二章） 一、线性表 概念：线性表是具有相同数据类型的n(n>0)个数据元素的有序数列。 第一个元素没有直接前驱，最后一个元素没有直接后继。 表中元素的个数有限 表中元素具有逻辑上的顺序性，表中元素有其先后顺序。 表中元素都是数据元素，每个元素都是单个元素。 表中元素的数据类型相同，这意味 ......
Python函数参数类型及可变参数
参数类型 位置参数 根据形参位置顺序进行实参传递； 关键字参数 根据形参名进行实参传递； 默认参数 给形参设置默认值，实参与默认值不符时需要覆盖传递； 可变参数 *args和**kwargs可变参数 1、将可变的位置参数打包成tuple给函数体调用 def function(*args): # 可变 ......
前端用户图像传递给后端数据库
在业务中，我们将图片上传到服务器之后，需要将图片保存地址返回给前端和保存在数据库中，那么怎么获得这个地址呢？ 图片上传到哪里了？？？ 上传到什么服务器？？？ 前端上传 后端获取URL地址，保存数据库 数据库查询，返回URL地址前端，显示 ......
Python实现简易版TCP代理
什么是TCP代理 TCP代理是一种网络代理技术，它允许客户端和服务器之间通过一个位于中间的第三方TCP代理服务器进行通信。 TCP代理的工作方式是客户端向代理服务器发送TCP连接请求，代理服务器将此请求转发到目标服务器，然后等待目标服务器响应。当目标服务器响应时，代理服务器将响应转发回客户端。在此过 ......
ghidra---导出数据到文件
Ghidra里，没有比较方便的方法直接导出数据到文件，可以执行python脚本实现。
写了一个Ghidra用的脚本: https://github.com/qux-bbb/ghidra-scripts/blob/master/export_data_to_file.py, 可以复制直接用了，下面... ......
python 使用 kafka
python 使用 kafka 说明：关于 kafka 的启动与安装，命令行的使用，此处不做过多的解释，本篇文章主要描述 kafka 在 python 中的使用； 1. python 使用 kafka 生产者 **说明：**python 在操作 kafka 写入数据的时候，分为发送往已经存在的主题或 ......