数据 爬虫 二手房python
python crawler入门
将百度页面保存到本地 from urllib.request import urlopen url = "http://www.baidu.com/" r = urlopen(url) b = r.read().decode('utf-8') with open("a.html",mode="w", ......
数据库设计心得
本组项目是某高校就业平台系统，页面与功能比较繁杂，可以大致分为4个端：学校端，学生端，企业端，管理员端 业务需求 完成企业招聘 学生可以向企业投简历，企业可以发布岗位，企业和学校合办宣讲会，学生可以参加 初步设计 四类账户每种需要一个表来记录账户信息，也便于进行账户管理 此外根据业务需求也确定了 简 ......
[无需Root]用Python操作安卓手机|自动打卡|智能刷抖音
哪个男孩不想用Python来控制手机呢？简简单单，只需要把手机连接上数据线（甚至可以不用），运行程序，手机就开始自动完成你想要做的工作。比方说，每日打卡，智能刷抖音等等。 为什么要用Python控制手机？ 使用Python控制手机，能够帮助我们完成一些机械化的任务，比如每日打卡，定时回复等等，另一方 ......
windows服务器中Oracle数据库定时备份
脚本准备 rem delete 10 days files forfiles /p "文件路径" /d -10 /c "cmd /c echo deleting @file ... && del /f @path" rem expdp sz set sz_file=备份文件名字%date:~0,4% ......
团队项目数据库设计心得
1.分析业务需求 我们的团队项目是图数据库的可视化管理系统，作为一个数据库，提供关于用户对数据库的各种操作，包括增删查改备份还原等，当然作为一个系统，需要注册登录等功能，还得提供管理用户的管理系统。以及各种其他的拓展功能。 2.实体分析 想要设计数据库，首先要知道需要什么实体。 首先应该是根据该系统 ......
岳麓山风景名胜管理大队-数据库设计心得博客
数据库设计心得-软件2103-岳麓山风景名胜管理大队 作者：王明扬 项目名称：数字化农业信息管理系统 组名：岳麓山风景名胜管理大队 组员：刘传煜、伍嘉懿、王明扬、秦凯、符南山、金颖希 指导老师：荣辉桂 目录： 一、背景 二、数据库设计的重要性 三、设计过程 四、设计心得 一、背景 数字化农业信息管理 ......
Python pip镜像源配置
一、选择国内常用镜像源 国内常用的镜像源有阿里云、清华大学、国科大、豆瓣等，我使用的是清华大学镜像源。 # 阿里云镜像源 http://mirrors.aliyun.com/pypi/simple/ # 清华大学镜像源 https://pypi.tuna.tsinghua.edu.cn/simple ......
opencv,matplotlib,PIL,base64数据转换
opencv,matplotlib,PIL,base64数据转换 目录opencv,matplotlib,PIL,base64数据转换opencvMatplotlibPIL相互转换opencv和MatplotlibMatplotlib和PILopencv和PILopencv和base64PIL和ba ......
pycharm右键运行python怎么可以像命令行一样传参数？
需求： 我在命令行敲 python main.py host.ini执行 我在pycharm中如何补充这个host.ini的参数。 AI解决： 在PyCharm中右键执行运行时，默认情况下是不会传递参数的，需要手动配置才能将参数传递给脚本。你可以按照以下步骤进行设置： 在PyCharm中打开main ......
CCIA数安委等组织发布PIA星级标识名单，合合信息再次通过数据安全领域权威评估
CCIA数安委等组织发布PIA星级标识名单，合合信息再次通过数据安全领域权威评估 近期，“中国网络安全产业联盟（CCIA）数据安全工作委员会”、“数据安全共同体计划（DSC）”等组织共同发起“个人信息保护影响评估专题工作（简称“PIA专题工作”）”，并为入围企业颁发了对应的等级标识。合合信息、快手、 ......
数据采集与融合技术实践作业四
代码放在码云：仓库链接 第三次作业 作业1： 要求：熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。 作业一代码文件夹：作业一 下面 ......
redis数据类型
·Redis 常见数据类型 string 可存储三种类型值： 字符串 整数 浮点数 string是最基本的类型，value可以是数字、字符串或者二进制数据。string类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。 常用于缓存、计数、共享ses ......
vue兄弟组件共享数据
1、vue2.x中，兄弟组件共享数据的方式 EventBus。 一、A组件import eventBus from "@/components/eventBus";export default { methods: { send() { eventBus.$emit('share', this.st ......
如何构建新一代实时湖仓？袋鼠云基于数据湖的探索升级之路
在之前的实时湖仓系列文章中，我们已经介绍了实时湖仓对于当前企业数字化转型的重要性，实时湖仓的功能架构设计，以及实时计算和数据湖结合的应用场景。 在本篇文章中，将介绍袋鼠云数栈在构建实时湖仓系统上的探索与落地实践，及未来规划。 数栈为什么选择实时湖仓 数栈作为一个数据开发平台，在未引入实时湖仓之前提供 ......
为zabbix_server_docker容器安装Python 3完善机器人告警脚本环境
1.安装Python 3 dnf install python3 2.要验证安装，请输入以下命令检查Python版本： python3 --version 3.建立软连接： ln -s /usr/bin/python3.6 /usr/bin/python 4.安装epel： dnf install ......
火山引擎ByteHouse联合Apache Airflow，让数据管理更加高效
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 近日，火山引擎ByteHouse 正式宣布与 Apache Airflow 兼容，两者结合不仅可以高效地存储和处理大量数据、实现更便捷的数据管理，还可以使得数据基础设施的设置和维护变得无缝化。 Apache Air ......
Sql server基础使用（四）：数据增删改
对所学Sqlserver知识进行一下记录总结，某些用法之间还可以关联使用，欢迎补充和讨论。本人比较懒，结果的截图暂时就先不传了，什么时候想起来再说吧~~ 1.数据表增加数据 增加数据，下面列出我所知道的几种方法 （1）普通插入 inset into + values INSERT INTO dbo. ......
ODBC 连接 Doris数据库
前言 主要测试通过ODBC方式来连接Doris 数据 一、环境 1、Cntos7 1、Doris 2.0.2 2、Mysql-connector-odbc-5.3.7 二、使用步骤 1.安装 odbc驱动 Mysql ODBC驱动下载地址 https://downloads.mysql.com/ar ......
Python Tricks
1. 同时按照一个list的大小排序两个list def return_sorted_list(cclass): namelist = [] numlist = [] for cat in cclass.cat: namelist.append(cat.catName) numlist.append ......
【数据处理脚本】字符串
1. 检测一个字符串内是否有中文 # 检测字符串是否含有中文 def is_contain_chinese(check_str): for ch in check_str: if u'\u4e00' <= ch <= u'\u9fff': return True return False 2. 去除 ......
datax抽取mysql数据到hive报错：javax.net.ssl.SSLException: Connection reset
datax抽取mysql数据报错： [INFO] 2023-11-09 12:35:14.090 +0000 - -> 2023-11-09 20:35:13.492 [0-0-0-reader] ERROR ReaderRunner - Reader runner Received Excepti ......
python从exec函数理解名字、对象及命名空间
第一层理解 exec函数基本使用 python中有个自建(builtin)函数 exec，这个函数支持动态执行 Python 代码，函数返回值永远是None。 这个函数是将存放起来的一串字符当作python的代码来执行，这串代码可以放在数据库中，在内存中，在文件中等等； 可以将任意字符串当作代码执行 ......
【数据可视化】matplotlib画图设置
1.全局更改图表外观 plt.style.use("ggplot") 2.全局更改图片内的字体/可每次画图都重新定义一下个性化 plt.rc('font',family='Times New Roman', size=20) 3. 画竖直排列的柱状图 def visualization(nameli ......
Unity DOTS系列之System中如何使用SystemAPI.Query迭代数据
最近DOTS发布了正式的版本, 我们来分享一下System中如何基于SystemAPI.Query来迭代World中的数据，方便大家上手学习掌握Unity DOTS开发。 SystemAPI.Query的使用 System有两种，一种是Unmanaged 的ISystem,一种是managed 的S ......
【Mquant】9：python批量铭刻erc-20铭文
1. ETHS铭文 ETHS铭文是以太坊铭文协议Ethscriptions的代币名称。Ethscriptions是一个基于以太坊的铭文协议，允许用户在以太坊主网上刻入不同类型的文件，并将其记录到区块中。ETHS作为Ethscriptions的第一个"概念币"，引起了人们的关注和热议。 以太坊铭文协议 ......
python 递归上传文件到阿里云oss
python 递归上传文件到阿里云oss import os import oss2 import json # 阿里云 OSS 访问信息 access_key_id = 'xxxxxxxxx' access_key_secret = 'xxxxxxxxxxxxx' endpoint = 'xxxx ......
skywaling 数据刷新过快导致es写入block
我们可以做些调优，skywalking写入ES的操作是使用了ES的批量写入接口。我们可以调整这些批量的维度。尽量降低ES索引的写入频率，如： bulkActions: ${SW_STORAGE_ES_BULK_ACTIONS:4000} # Execute the bulk every 2000 r ......
python 调用googleapiclient接口采集作品详细数据
1、代码示例 import googleapiclient import googleapiclient.discovery import googleapiclient.errors # 测试获取账号信息 def get_account_data(): channelId_list= ['UCj7 ......
Unity DOTS系列之System中如何使用SystemAPI.Query迭代数据
最近DOTS发布了正式的版本, 我们来分享一下System中如何基于SystemAPI.Query来迭代World中的数据，方便大家上手学习掌握Unity DOTS开发。 SystemAPI.Query的使用 System有两种，一种是Unmanaged 的ISystem,一种是managed 的S ......
《流畅的Python》 读书笔记 第7章_函数装饰器和闭包
第7章 函数装饰器和闭包 装饰器这个名称可能更适合在编译器领域使用，因为它会遍历并注解句法树 函数装饰器用于在源码中“标记”函数，以某种方式增强函数的行为。这是一项强大的功能，但是若想掌握，必须理解闭包 如果你想自己实现函数装饰器，那就必须了解闭包的方方面面，因此也就需要知道 nonlocal 闭包 ......