数据 爬虫 二手房python
Django使用已经存有数据的mysql数据库（搬自简书 LeslieLiang）
由于在django中数据表的操作都是通过models去执行的，所以在你需要使用数据库之前需要在app中的models.py文件中事先去写好需要的表及字段，这是一件比较麻烦的事，那如何在事先没有配置models文件的情况下去对接已经存有数据的数据表呢？ 首先需要将django站点的默认数据库存储引擎修 ......
Python基本知识(编程语言、数据类型、变量与常量、运算符、格式化输出以及解释器)
什么是编程语言？ 编程语言是人类与计算机之间交流的媒介，如Python、go、Java、c语言等等。 什么是编程？ 程序员将自己的逻辑和想法用计算机能够读懂的语言写下来的过程。编程结果是产生一对文件。 Python的八大数据类型概览 1. 字符串string(用来存放文本) # 有四种表现形式 na ......
python第五周作业——连续洗浴事件识别
import pandas as pd import matplotlib.pyplot as plt inputfile ='C://Users//Administrator//Desktop//data//original_data.xls' #'./demo/data/original_dat ......
python 实现 average pooling 和 max pooling
pooling的主要作用 1. 首要作用：下采样，降维，去除冗余信息。同时扩大感受野，保留了feature map的特征信息，降低参数量。 2. 实现非线性，一定程度上避免过拟合。 3. 可以实现特征不变性。包括平移不变性、旋转不变性、尺度不变性 import cv2 import numpy as ......
SpringBoot多数据源（自定义注解，动态数据源，事务实现）
一、数据库配置文件（这里用的是阿波罗配置中心，也可以是application.yml文件） #mysql本地数据源1 spring.datasource.db1.driver-class-name=com.mysql.cj.jdbc.Driver spring.datasource.db1.jdbc ......
MySQL数据库用户管理
一、用户管理 1.1新建用户 CREATE USER '用户名'@'来源地址' [IDENTIFIED BY [PASSWORD] '密码']; ‘用户名’：指定将创建的用户名 ‘来源地址’：指定新创建的用户可在哪些主机上登录，可使用IP地址、网段、主机名的形式，本地用户可用localhost，允许 ......
python第五周作业
import pandas as pd import matplotlib.pyplot as plt inputfile ='C://Users//admin//Desktop//original_data.xls' #'./demo/data/original_data.xls' # 输入的数据 ......
MySQL数据库的基本管理操作
一、基本概念 1.1库和表 数据库–>数据表–>行（记录）：用来描述一个对象的信息 _____ 列（字段）：用来描述对象的一个属性 1.2常用的数据类型 int ：整型 float ：单精度浮点 4字节32位 double ：双精度浮点 8字节64位 char ：固定长度的字符类型 varchar ......
How to use --extra-index-url in requirements.txt in python?
[本文出自天外归云的博客园] 以下内容来自chatGPT的回答（正解，已验证） 问题1：how to use --extra-index-url in requirements.txt in python? To use `--extra-index-url` in `requirements.tx ......
Python魔法方法汇总
Python中对于一个类来说，有着非常多的魔法方法（以__xxx__方法是进行定义的），这些方法在Python解释器中会被特殊的事件所触发调用。比如比较对象大小，实例对象的创建等很多重要时刻，对应的魔法方法都会被解释器调用。但并不是当我们自己编写一个类的时候，这些魔法方法都需要被重写（object这 ......
python中的venv文件夹用途和用法
一Venv文件夹是干嘛的： 在 pytest 中，venv 文件夹通常用来存储 Python 的虚拟环境。虚拟环境是一种隔离 Python 环境的机制，可以让我们在同一台机器上运行多个 Python 项目，并保证每个项目使用的 Python 版本和第三方库版本都是独立的。 虚拟环境的使用可以避免不同 ......
判断大量的数据在某个区间？我采用数组排序
新建数组，添加所有的数据与标准值，排序后判断首尾值是否等于标准值，这样就能避免大量的ifelse代码了 十分清爽。 上代码 请大家参考！ ......
网易严选数据湖建设实践
过去几年，数据仓库和数据湖方案在快速演进和弥补自身缺陷的同时，二者之间的边界也逐渐淡化。云原生的新一代数据架构不再遵循数据湖或数据仓库的单一经典架构，而是在一定程度上结合二者的优势重新构建。本文将分享严选的数据湖建设过程和思考。 1. 业务背景 网易严选在 2017 年中开始搭建自己的大数据体系，如 ......
Python 可迭代对象(list tuple等)的计算
# 可迭代对象,计算和排序等处理 from itertools import groupby from operator import itemgetter L = [('grape', 100, 2), ('grape', 3, 2), ('apple', 15, 2), ('apple', 10 ......
python中index()、find()方法
python中index()、find()方法，具体内容如下： index() 方法检测字符串中是否包含子字符串 str ，该方法与 python find()方法一样，只不过如果str不在 string中会报一个异常。影响后面程序执行 index()方法语法：str.index(str, beg= ......
窥探数据研发中的任务优化策略
本文就目前较为冷门的一些数据任务优化手段做了简单的分析和总结，内容相对比较零散，不会聚焦常用的优化手段（比如小文件合并，数据倾斜等的优化等），只是对一些相对不太常见，但是在研发中又比较重要且有效的方式进行简单的一些沉淀，希望大家批评指正！ 1. 前言 在离线数据研发中，随着业务复杂程度不断增加，数据 ......
【THM】Packets & Frames(了解数据包和帧)-学习
本文相关的TryHackMe实验房间链接：https://tryhackme.com/room/packetsframes 本文相关内容：了解数据如何被分成更小的部分并通过网络传输到另一台设备。 什么是数据包和帧？ 数据包和帧是小块的数据，当它们组合在一起时，就构成了更大的信息或消息；然而，数据包和 ......
opencv-python 4.1. 改变颜色空间
改变色彩空间 OpenCV中有150多种颜色空间转换方法。我们只研究两种最广泛使用的转换方法，BGR↔Gray和BGR↔HSV。 对于颜色转换，使用函数cv.cvtColor(input_image，flag)，其中flag确定转换类型。 对于BGR→Gray转换，我们使用标志cv.COLOR_BG ......
基于YOLOv5和Python开发的中国交通标志识别系统，可识别45种交通标志，识别率高
基于YOLOv5和Python开发的中国交通标志识别系统，可识别45种交通标志，识别率高YID:95120644426759544 ......
基于遗传算法优化BP神经网络（GA-BP）的数据分类预测 matlab代码
基于遗传算法优化BP神经网络（GA-BP）的数据分类预测 matlab代码YID:5429643492784099 ......
python-虚拟环境
安装 pip install virtualenv pip install virtualenvwrapper export WORKON_HOME=$HOME/.virtualenvs # 可以加入终端配置文件内，制定虚拟环境统一安放目录 # virtualenvwrapper.sh 找不到这个文 ......
数据挖掘（第五周）
import pandas as pd import matplotlib.pyplot as plt inputfile =r"C:\Users\admin\Downloads\original_data.xls" # 输入的数据文件 data = pd.read_excel(inputfile) ......
基于模型强化学习的离网微电网终身控制Python源代码
基于模型强化学习的离网微电网终身控制Python源代码 离网微网的终身控制问题包括两个任务，即对微网设备的状态进行估计和通过预测未来消费量和可再生产量来考虑不确定性的运行规划。 有效控制的主要挑战来自于随时间发生的各种变化。 提出了一个用于农村电气化离网微电网建模的开源强化框架。 将孤立微电网的终身 ......
31、K8S-数据存储之PV、PVC
1、基础知识 1.1、流程梳理 1.1.1、PV-Persistent Volume 之前我们提到的Volume可以提供多种类型的资源存储(可持久或不持久)，但是它定义在Pod上的，是属于"资 源对象"的一部分。工作中的存储资源一般都是独立的，这就是资源对象Persistent Volume(PV) ......
数据分析第五周作业
在热水器的使用过程中，热水器的状态会经常发生改变，如开机和关机、由加热转到保温、由无水流到有水流、水温由50℃变为49℃等。而智能热水器在状态发生改变或水流量非零时，每两秒就会采集一条状态数据。由于数据的采集频率较高，并且数据来自大量用户，因此数据总量非常大。本案例对原始数据采用无放回随机抽样法，抽 ......
【Python】Flask-Mail发送邮件报错解决方案（UnicodeEncodeError 'ascii' codec can't encode characters in position 52-55 ordinal not in range(128)）
✨报错提示 完全相同的代码在macOS上运行正常 在Windows上运行报错 报错提示如下： Traceback (most recent call last): File "C:\Users\Doubl\miniconda3\envs\Temp\lib\site-packages\flask\ap ......
pytest踩坑--运行报错DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' is deprecated since Python 3.3 ,and in 3.9 it will stop working
问题现象： 使用pytest运行用例时，用例执行完毕总会提示以下警告 警告意思：弃用警告：从collections中导入ABCs已被弃用，并在python3.9中将停止工作，可使用collections.abc代替它进行使用 但我代码中并未使用这个库，也没有导入这个库。就很纳闷 解决： 百度了一下解 ......
如果要存ip地址，用什么数据类型比较好
当存储IPv4地址时，应该使用32位的无符号整数（UNSIGNED INT）来存储IP地址，而不是使用字符串。 相对字符串存储，使用无符号整数来存储有如下的好处： 节省空间，不管是数据存储空间，还是索引存储空间 便于使用范围查询（BETWEEN...AND），且效率更高 通常，在保存IPv4地址时， ......