数据 爬虫 二手房python
2023年4月最新全国省市区县和乡镇街道行政区划矢量边界坐标经纬度地图数据 shp geojson json
发现个可以免费下载全国 geojson 数据的网站，推荐一下。支持全国、省级、市级、区/县级、街道/乡镇级以及各级的联动数据，支持导入矢量地图渲染框架中使用，例如：D3、Echarts等 geojson 数据下载地址：https://geojson.hxkj.vip 该项目 github 地址：ht ......
如何使用wipefs命令擦除磁盘上的元数据/签名
每个磁盘和分区上都有某种签名和元数据。 你可以使用wipefs命令查看分区表签名/元数据，wipefs命令可以擦除文件系统，RAID或分区表签名/元数据。 显示磁盘当前签名。 [root@]# wipefs /dev/sdaDEVICE OFFSET TYPE UUID LABELsda 0x1fe ......
【获奖案例巡展】信创先锋之星——甘肃省住房和城乡建设厅住建数据大脑
为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目，星环科技自2021年推出了“新科技 星力量” 星环科技科技实践案例评选活动，旨在为各行业提供更多的优秀产品案例，彰显技术改变世界的力量，目前已成功举办两届，收到了来自各界的积极参与。 第二届星环科技科技实践案例评 ......
缓存与数据库双写一致性几种策略分析
本文将对几种缓存与数据库保证数据一致性的使用方式进行分析。为保证高并发性能，以下分析场景不考虑执行的原子性及加锁等强一致性要求的场景，仅追求最终一致性。 ......
ConcurrentHashMap源码&底层数据结构分析
ConcurrentHashMap：线程安全的HashMap 1.存储结构 ConcurrnetHashMap 由很多个 Segment 组合，而每一个 Segment 是一个类似于 HashMap 的结构，所以每一个 HashMap 的内部可以进行扩容。但是 Segment 的个数一旦初始化就不能 ......
python当中如果有一个列表里面是多个字典，且有一对键值对相同，想要求不同的键对应的值之和
a = [{"id":1,"count":29},{"id':1,"count":39}] ids = list(set([u["id"] for u in a])) # [1,] b = [] for id in ids: count = 0 for u in a: if id in u.get( ......
python当中的""和None,记一次小坑
在模型类当中，比如定义了，可以传入空值： class Person(models.Model): name = models.CharField(verbose_name='姓名',max_length=32) age= models.IntegerField(verbose_name='年龄',b ......
深度学习-Pytorch常见的数据类型
深度学习-Pytorch常见的数据类型 数据类型认识 首先，python与PyTorch中的数据类型 | python | PyTorch | | : : | : : | | int | IntTensor | | float | FloatTensor | | int array | IntTen ......
Linux课程(大数据、JavaEE,Python通用版)
#尚硅谷Linux课程(大数据、JavaEE,Python通用版) 整理:韩顺平Linux课程笔记 ##第 1 章 LINUX 开山篇 ####1.1 本套LINUX课程的内容介绍 ###1.2 LINUX的学习方向 ####1.2.1 Linux运维工程师. ####1.2.2 Linux嵌入式开 ......
（一）pandas读取excel数据
import pandas xlsfile = pandas.read_excel('config.xlsx') #默认读取excel中的第一个sheet表，所有列 data = xlsfile.values.tolist()#将字典转换成列表print（data） 输出结果： [[1, '注册模块 ......
oracle数据库改字段数据类型造成索引失效的bug
问题说明： oracle的varchar2最大长度为4000，由于某个字段长度超过4000，所以就将其数据类型改成了CLOB，结果报错： java.sql.SQLException: ORA-01502: 索引 'DEV.SYS_C0019380' 或这类索引的分区处于不可用状态 问题解决： 查看索 ......
python计算list的均值,方差,众数,中位数的最好方法
可以使用 Python 的统计模块 statistics 来计算列表的均值、方差、中位数等,下面是一些示例代码： import statistics # 定义一个列表 my_list = [1, 2, 3, 4, 5] # 计算均值 mean = statistics.mean(my_list) p ......
SchemaRegestry组件原生的类和方法无法实现flink消费kafka的数据动态调整schema的情况--未彻底解决
0、前提知识储备 Conflurent公司的SchemaRegestry组件的基本了解和使用 一、背景： 0.组件版本 flink：1.14 1.链路调整情况 原先链路：oracle-->OGG-->kafka-->flink-->数据库\湖\仓 实现链路：oracle-->OGG-->kafka（ ......
Unity- 数据与网络（占坑）
一、常用数据格式 1.轻量数据格式JSON 1.1对象 1.2数组 1.3SON的创建和解析 2.可扩展标记语言XML 1.使用XML语法进行解析 2.使用XPath语法进行解析 CSV与Excel SQLite 1.创建表 2.删除表 3.增加数据 4.查找数据 5.删除数据 6.修改数据 二、多 ......
MySQL 查看数据库表容量大小
1.查看所有数据库容量大小 select table_schema as '数据库', sum(table_rows) as '记录数', sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)', sum(truncate(index_length ......
python-docx 快速入手教程
python-docx 使用文档地址：https://www.osgeo.cn/python-docx/user/documents.html 安装：pip install python-docx from docx import Document 提取文字 打开文件doc = Document(' ......
python打包.exe文件
一、安装将Python代码转成exe的工具包 pyinstaller：需要打开cmd，然后在cmd里输入一行命令即可 pip install pyinstaller 二、查看版本： pyinstaller -v 三、pyinstaller参数作用： -F 表示生成单个可执行文件-D –onedir ......
【获奖案例巡展】信创先锋之星——中信证券基于国产图数据库构建企业图谱的应用实践
为表彰使用大数据、人工智能等基础软件为企业、行业或世界做出杰出贡献和巨大创新的标杆项目，星环科技自2021年推出了“新科技 星力量” 星环科技科技实践案例评选活动，旨在为各行业提供更多的优秀产品案例，彰显技术改变世界的力量，目前已成功举办两届，收到了来自各界的积极参与。 第二届星环科技科技实践案例评 ......
Mac Os Python3安装与配置
1. 安装 使用brew 命令安装，未安装Home brew，详见官网安装方法 https://brew.sh/ brew install python3 安装好后配置环境变量 export PATH=/Library/Frameworks/Python.framework/Versions/3.9 ......
DML(对表中的数据进行增删改)
DML(对表中的数据进行增删改) 添加（insert） 给指定列添加数据它 INSERT INTO 表名(列名1,列名2,.….)VALUES(值1,值2,...); 给全部列添加数据 INSERT INTO 表名VALUES(值1,值2.…); 批量添加数据 INSERT INTO 表名(列名1, ......
SQL 跨数据库处理 语句
1.插入数据 SET IDENTITY_INSERT 数据库A.dbo.FI_FloExpenseDaily ON --设置为允许手动插入值 INSERT INTO 数据库A.[dbo].[表1] (ID,[FlowNo] ) SELECT ID,ExpenseNo FROM 数据库B.[dbo]. ......
MySQL InnoDB存储引擎选择B+树作为索引数据结构的原因
MySQL InnoDB存储引擎选择B+树作为索引数据结构的原因在于其特点与性能。B+树相比红黑树和B树，更适用于关系型数据库的特点，具体体现在以下几个方面： 磁盘I/O效率：数据库的数据通常存储在磁盘上，磁盘I/O操作相对较慢。B+树的一个重要特点是它能减少磁盘I/O次数。B+树是一种多路平衡查找 ......
MySQL InnoDB存储引擎选择B+树作为索引数据结构的原因
MySQL InnoDB存储引擎选择B+树作为索引数据结构的原因在于其特点与性能。B+树相比红黑树和B树，更适用于关系型数据库的特点，具体体现在以下几个方面： 磁盘I/O效率：数据库的数据通常存储在磁盘上，磁盘I/O操作相对较慢。B+树的一个重要特点是它能减少磁盘I/O次数。B+树是一种多路平衡查找 ......
python用Flask写一个测试接口
1.app.py内容 from flask import Flask, jsonify app = Flask(__name__) @app.route('/hello') def hello(): return jsonify({'message': 'Hello, World!','status ......
数据治理实践 | 网易某业务线的计算资源治理
本文从计算资源治理实践出发，带大家清楚认识计算资源治理到底该如何进行，并如何应用到其他项目中。 01前言 由于数据治理层面可以分多个层面且内容繁多（包括模型合规、数据质量、数据安全、计算/存储资源、数据价值等治理内容），因此需要单独拆分为6个模块单独去阐述其中内容。 笔者作为数仓开发经常会收到大量集 ......
云时代，MySQL到ClickHouse数据同步产品对比推荐
ClickHouse 在执行分析查询时的速度优势很好的弥补了MySQL的不足，但是对于很多开发者和DBA来说，如何将MySQL稳定、高效、简单的同步到 ClickHouse 却很困难。本文对比了 NineData、MaterializeMySQL（ClickHouse自带）、Bifrost 三款产品... ......
opencv-python 安装记录
最近在看网上一个opencv的教程，其中的安装在ubuntu虚拟机下安装，照着安装一直没有成功，今天几个摸索，终于找到一个成功的版本。特此记录下安装过程。 1、选择Ubuntu18.04版本的虚拟机（14.04、16.04都没有成功） 2、更换阿里云数据源。 3、 ......
python 多线程详解
概念 线程是处理器调度和分配的基本单位，进程则作为资源拥有的基本单位。每个进程是由私有的虚拟地址空间、代码、数据和其它各种系统资源组成。线程是进程内部的一个执行单元。每一个进程至少有一个主执行线程，它无需由用户去主动创建，是由系统自动创建的。 用户根据需要在应用程序中创建其它线程，多个线程并发地运行 ......
python多进程-多元数组
多进程分配数组任务，并原地修改 from multiprocessing import Pool, Manager, cpu_count import numpy as np import time def func(i, j): # wait 100s time.sleep(0.5) return ......