数据 爬虫 二手房python
【反汇编3】基本数据类型的表现形式
参考书籍，《C++反汇编与逆向分析技术揭秘》。 这次主要研究各种数据在计算机里怎么存的，又要涉及补码、科学计数法等基础内容。这些课程计算机专业的都会学，但作为程序员未必有直观的体验，比如java或python程序员，他们不用自己管理内存，也就根本不会接触到这类内容，例如int i = -1; 对于他 ......
Redis和Mysql如何保证数据一致性？
1、redis作用： 用于读数据库操作的缓存层，可以减少数据库的io，还能提升数据的io性能； 无法保证数据的acid 2、实现一致性方案： 1、先更新数据库，在更新缓存 2、先删除缓存再更新数据库 3、最终一致性方案： （1）基于roketMQ可靠通信 （2）通过canal组件采集mysql bi ......
如何将 Python 项目打包成 exe，另带卸载功能！
前言 虽然我是做 web 的，但是对 Python 的众多开源项目一直都很关注。像之前的 stable diffusion 的 AI 绘画，和 so-vits-svc 音色替换等源码的部署文档都很完善了。尽管如此，对于刚入门的和本地环境搭建各种踩坑的同学，又急于一试就显得不太友好了。针对这一现象，网 ......
MongoDB中如何优雅地删除大量数据
删除大量数据，无论是在哪种数据库中，都是一个普遍性的需求。 除了正常的业务需求，我们也需要通过这种方式来为数据库“瘦身”。 为什么要“瘦身”呢？ 表的数据量到达一定量级后，数据量越大，表的查询性能相对也会越差。 毕竟数据量越大，B+树的层级会越高，需要的IO也会越多。 表的数据有冷热之分，将很多无用 ......
爬虫作业
import requestsfrom bs4 import BeautifulSoupurl='www.google.com.hk'for i in range(20): try: r=requests.get(url) print(r.status_code) except: print(404 ......
数据隐私治理所面临的四大挑战
近年来，隐私功能越来越受到重视，在重大立法改革和加强监管审查的支持下，各组织通过部署和扩展专门的隐私计划和职能来做出回应。隐私不再是信息安全、法律或道德的一个子集，而是一门专业学科，需要全球专门的隐私专业人士投入时间和精力。 ......
Databend 源码阅读： Meta-service 数据结构
作者：张炎泼（XP） Databend Labs 成员，Databend 分布式研发负责人 https://github.com/drmingdrmer 引言 Databend 是一款开源的云原生数据库，采用 Rust 语言开发，专为云原生数据仓库的需求而设计。 面向云架构：Databend 是完全 ......
php+dm达梦数据库简单连接
1.安装php 准备php环境，下载phpstudy，自带php7.3.4nts，安装好以后如果系统环境变量没有配置要配置一下php的的系统环境变量 2.安装达梦数据库 win64+dmv8 在达梦数据库的文件夹中选择合适版本的扩展文件复制到 达梦的各版本扩展文件所在位置： php的扩展文件中 ph ......
linux：date <=> timestamp：转换；10进制 <=> 16进制；读取二进制原始数据hexdump
进制转换： 使用linux的 coreutils 的 printf 函数 ： printf "%d" 0xf23b9 printf "%x" 12345 date timestamp 转换： date +"%F_%T" -d @时间戳的长整型值 date +"%s" [now] tail\head ......
mysql数据库字符集utf8mb4和排序规则utf8mb4_bin
一、存储字符集 utf8 和 utf8mb41、utf8utf8 是 Mysql 中的一种字符集，只支持最长三个字节的 UTF-8 字符，也就是 Unicode 中的基本多文本平面2、utf8mb4要在 Mysql 中保存 4 字节长度的 UTF-8 字符，需要使用 utf8mb4 字符集，但只有 ......
手把手教你用python做一个年会抽奖系统
本文介绍了使用Python和fastapi框架构建一个简易的抽奖系统。通过编写前端界面和后端逻辑代码，读者可以了解如何实现一个功能完善的抽奖系统，并从中获得经验和收益。 ......
python xattr库
因： ceph 有一条设置 文件/目录 配额的命令ceph.quota.max_bytes，想在 Python 代码中调用它，最直接的方法是使用 popen/subprocess 等库直接执行这条命令，但如果频繁调用担心会影响系统性能，查阅资料发现 xattr库也可以实现且更加方便。 开始吧 首先需 ......
李强 分布式计算、云计算与大数据 作者:林伟伟 著出版社:机械工业出版社出版时间:2015年11月
前 言背景分布式计算从20世纪六七十年代发展到现在，一直是计算机科学技术的理论与应用的热点问题，特别是*近几年，随着互联网、移动互联网、社交网络应用的发展，急需分布式计算的新技术——云计算、大数据，以满足和实现新时代计算机的应用需求。云计算、大数据等新技术本质上是分布式计算的发展和延伸，现有的书籍一 ......
实时湖仓技术选型，企业如何借实时湖仓赢在“数据驱动”时代
在之前三期的实时湖仓系列文章中，我们从业务侧、产品侧、应用侧等几个方向，为大家介绍了实时湖仓方方面面的内容，包括实时湖仓对于企业数字化布局的重要性以及如何进行实时湖仓的落地实践等。 本文将从纯技术的角度，为大家解析实时湖仓的存储原理以及生态选型，为企业建设实时湖仓给出技术方面的参考意见。 实时湖仓能 ......
sqlserver bak还原时提示文件过大，系统盘符空间较小（数据库日志清理）
USE [master] GO ALTER DATABASE QTHQ SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE QTHQ SET RECOVERY SIMPLE GO USE QTHQ GO DBCC SHRINKFILE (N'QTHQ ......
LANDSAT LC08 C02 T1_L2 metadata dictory 元数据字典
LANDSAT/LC08/C02/T1_L2 metadata dictory 元数据字典2023年12月20日星期三 by xrkvar image=ee.ImageCollection('LANDSAT/LC08/C02/T1_L2').first();print("image",image); ......
12.19---python
seek()方法语法如下： file.seek(offset[,whece]) offset - - 开始的偏移量，也就是代表需要移动偏移的字节数，如果是负数表示从倒数第几位开始。 whence：可选，默认值为0。给offset定义一个参数，表示要从那个位置开始偏移；0代表从文件开头开始算起，1代表 ......
前端体验优化（4）——数据
数据包括性能指标、监控数据以及通过埋点得到的业务数据，而数据分析是体验优化的最后一环。 通过数据来量化当前的工作，从而证明工作是否高效，优化是否有效等问题。 量化的工作包括代码质量和业务数据。 一、代码质量 代码质量的数据来源于思维导图中的性能指标和监控体系，包括 SLA、慢响应、前端错误、白屏和首 ......
数据库
Oracle 序列 新建 create sequence '序列名称'; -- 创建序列名称 CREATE SEQUENCE 'sequence_name' -- 递增`n`的序列（默认：`1`） -- 如果`n`是正数就递增 -- 如果`n`是负数就递减 [INCREMENT BY 'n'] -- ......
linux中部署python项目
参考这篇博客：https://blog.csdn.net/smilehappiness/article/details/117337943 1.首先查看python的版本：python -V 2.安装python：3.安装虚拟环境报错1： 解决办法：export CURL_CA_BUNDLE="/e ......
【Python微信机器人】第六篇：优化使用方式，可pip安装
优化内容 这篇不聊技术点，说一下优化后的Python机器人代码怎么使用，优化内容如下： 将hook库独立成一个库，发布到pypi，可使用pip安装 将微信相关的代码发布成另一个库，也可以pip安装 git仓库统一，以后都在这个仓库更新，不再一篇文章一个仓库 开始建群，根据群里反馈增加功能和修复bug ......
不容忽视，电力行业挑选跨网数据交换平台的五大准则！
为了加强数据传输控制和安全防护。电力企业一般都会采用防火墙、网闸等方式，将网络隔离为办公网、生产网等隔离网域。 生产网：主要负责电力生产过程中的控制和监控，包括发电、输电、配电等环节。生产网通常与电力生产设备直接相连，对实时性、可靠性和安全性要求非常高。生产网中的数据传输通常是单向的，以确保数据的安 ......
Python学习的相关资源
Python是一门强大而且多用途的编程语言，在数据科学、机器学习、Web 开发和软件工程等多个行业中都有广泛应用。 如果你对学习 Python 感兴趣，网上有很多免费Python资源可供您使用，包括许多免费网站，提供教程、练习和交互式编程环境。 以下是常见的学习资源，仅供参考： 1. Python官 ......
三维模型数据的高程偏差的几何坐标纠正技术方法浅析
三维工厂K3DMaker是一款三维模型浏览、分析、轻量化、顶层合并构建、几何校正、格式转换、调色裁切等功能专业处理软件。可以进行三维模型的网格简化、纹理压缩、层级优化等操作，从而实现三维模型轻量化。轻量化压缩比大，模型轻量化效率高，自动化处理能力高；采用多种算法对三维模型进行几何精纠正处理，精度高，... ......
SQL 建立数据库备份作业
declare @name nvarchar(50) declare @datetime char(14) declare @path nvarchar(255) declare @bakfile nvarchar(255) set @name='DBNAME' set @datetime=CONV ......
Python（requests.post()、requests.get()）
目录1. requests.post()2. requests.get()3. requests.post() 与 requests.get() 区别 1. requests.post() requests.post 是 Python 中 requests 库提供的一个函数，用于发送 HTTP PO ......
EF Core助力信创国产数据库
前言 国产数据库作为国产化替代的重要环节，在我国信创产业政策的指引下实现加速发展，我们国产数据库已进入百花齐放的快速发展期，相信接触到涉及到政府类等项目的童鞋尤为了解，与此同时我们有一部分也在使用各种开源的ORM都早已支持主流国产数据库，我们也有一部分在使用官方EF Core但没有对国产数据库的统一 ......
关联分析思想及其Python实现
关联规则分析算法是一种用于挖掘数据集中项之间关系的技术，它可以揭示数据中的潜在模式和趋势。这种算法的核心思想是寻找数据集中频繁出现的组合，从而推断它们之间的关联关系。其中，Apriori算法是关联规则分析的代表之一。Apriori算法的基本原理是利用"先验原理"，即如果一个项集是频繁的，那么它的所有 ......
《业务安全实战演练》业务数据安全测试
一、业务数据安全测试 1、商品支付金额篡改 案例1 靶场链接地址：Dashboard | Web Security Academy - PortSwigger。 使用提供的用户名和密码进行登录 wiener:peter 登录后查看我们的余额现在是100元 然后回到主页选择夹克进行购买 将夹克先添加到 ......