爬虫 分布式python网络
python中的json操作总结
json.loads() / json.dumps() vs json.load() / json.dump() 的区别：s 代表 string ，前两个用于字符串转换，后两个用于读取/写入.json文件 json(dict) 与字符(str)转换 str转json：json.loads() jso ......
这些常见的python编码习惯，你都会吗
本文分享自华为云社区《不得不知的十个常见PY编码习惯》，作者：码乐。 简介 语言在发展和变化，编码习惯也在发生改变。这里简单聊聊 17个python中常见的编码习惯或者风格。 1,可变数据结构： 注意在函数变量不要使用它 def foo(x=[]): x.append(1) print(x) >>> ......
小记 | 使用 PyInstaller 打包和交付 Python 项目
PyInstaller 可以将 Python 项目打包成一个可执行文件，或是一个文件夹，包含可执行文件以及依赖包。方便我们将 Python 项目交付给用户，方便用户使用的同时也可以一定程度的保护项目源代码。本文将介绍如何简单使用 PyInstaller 打包。 安装 使用 pip 安装即可： pip ......
gps北斗时钟同步系统（NTP网络时钟系统）技术组建
gps北斗时钟同步系统（NTP网络时钟系统）技术组建 gps北斗时钟同步系统（NTP网络时钟系统）技术组建 京准电子科技官微——ahjzsz 1.1时钟系统概况 地铁时钟系统是轨道交通系统的重要组成部份之一，其主要作用是为控制中心调度员、车站值班员、各部门工作人员及乘客提供统一的标准时间信息，为地铁 ......
python gunicorn
https://cloud.tencent.com/developer/article/1902723 https://blog.csdn.net/Aifore/article/details/86703685 ......
面试官：分布式锁最终解决方案是RedLock吗？为什么？
RedLock 是 Redis 分布式锁的一种实现方案，由 Redis 的作者 Salvatore Sanfilippo 提出。 RedLock 算法旨在解决单个 Redis 实例作为分布式锁时可能出现的单点故障问题，通过在多个独立运行的 Redis 实例上同时获取锁的方式来提高锁服务的可用性和安全 ......
Python 自动化之验证码识别
之前公司的验证码比较简单，可以采取直接破解的方式进行登录 部分代码如下： # -*- coding: utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import By from selenium. ......
Python爬上不得姐 并将段子写入数据库
#Python2.7 可以优化一下 前10页 每页点赞最多的段子 百思不得姐 # -*- coding: utf-8 -*-import MySQLdbimport urllib,urllib2import sys,rereload(sys)sys.setdefaultencoding('utf-8 ......
【Python基础】Pycharm创建文件时，自动生成文件头注释
在pycharm创建文件时需要备注文件信息 可以创建模板，以后创建文件会自动带出文件信息 设置路径 文件-设置-编辑器-文件和代码模板-Python Script 设置模板内容 例如 # -*- coding: utf-8 -*- #@Project :${PROJECT_NAME} #@File ......
python系统模块之re
正则模块re: 元字符: 字符 描述 . 除换行符外的任意字符 \ 转义字符 [...] 字符集合,匹配任务其中一个 \d 数字:[0-9] \D 非数字:[^\d] \w 单词字符[A-Za-z0-9] \W 非单词字符[^\w] \s 空白字符[\t\r\n\f 空格] \S 非空白字符[^\s ......
中间件 ZK分布式专题与Dubbo微服务入门 4-3 set与delete命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12699 1 重点关注 1.1 zk常用命令行 修改 不带版本号 启动zk服务端和客户端（必须启动客户端，不然set和get命令没有） ./zkServer.sh start ./zkCli.s ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
Python中TensorFlow的长短期记忆神经网络(LSTM)、指数移动平均法预测股票市场和可视化|附代码数据
原文链接：http://tecdat.cn/?p=23689 最近我们被客户要求撰写关于LSTM的研究报告，包括一些图形和统计输出。 本文探索Python中的长短期记忆（LSTM）网络，以及如何使用它们来进行股市预测 （ 点击文末“阅读原文”获取完整代码数据）。 在本文中，你将看到如何使用一个被称为 ......
Python用 tslearn 进行时间序列聚类可视化
全文链接：https://tecdat.cn/?p=33484 原文出处：拓端数据部落公众号 我们最近在完成一些时间序列聚类任务，偶然发现了 tslearn 库。我很想看看启动和运行 tslearn 已内置的聚类有多简单，结果发现非常简单直接。 首先，让我们导入我们需要的库： import pand ......
网络安全创新实验课程设计
《网络安全创新实验》课程设计 学院 网络空间安全学院 姓名 黄民哲 胡宇轩 王玉婷 2023年 5月 19日 目录 一、网络拓扑设计 3 二、网络主机概况 3 三、主机部署过程 4 3.1 网关机gateway 4 3.2 攻击者主机 4 3.3 内网用户主机 4 3.4 内网服务器 5 四、存在漏 ......
[python]常用配置读取方法
前言 常见的应用配置方式有环境变量和配置文件，对于微服务应用，还会从配置中心加载配置，比如nacos、etcd等，有的应用还会把部分配置写在数据库中。此处主要记录从环境变量、.env文件、.ini文件、.yaml文件、.toml文件、.json文件读取配置。 ini文件 ini文件格式一般如下： [ ......
课时04：了解HTTP网络协议
什么是HTTP协议 HTTP(HyperText Transfer Protocol）叫超文本传输协议，它是web服务器和客户端直接进行数据传输的规则，是一个无状态的应用层协议。 HTTP协议工作原理 推荐书籍：图解HTTP ......
【Python】【OpenCV】OCR识别（二）——透视变换
对于OCR技术在处理有角度有偏差的图像时是比较困难的，而水平的图像使用OCR识别准确度会高很多，因为文本通常是水平排列的，而OCR算法一般会假设文本是水平的。 针对上述情况，所以我们在处理有角度的图象时，需要将图像“摆正”，将使用到getPerspectiveTransform方法和warpPers ......
python 解决Fatal error in launcher:错误问题
python 解决Fatal error in launcher:错误问题 ━━━━━━━━━━━━━━━━━━━━━━━━━ 只要终端用到pip的东西，都在前面加python -m，比如python -m pip list 好了，完美解决！ 补充知识： python安装exe打包库命令pip in ......
Python 安装教程总结
1、使用官方 Python 安装程序 参考文档：Python在windows上安装配置方法(Python2和Python3) 具体操作如下， Windows下安装Python，我们可以参考这个文档教程来安装，下载 Python 安装程序，选择与您操作系统版本相对应的安装程序。对于 Windows 用 ......
Python Pandas 数据可视化
1、Pandas 的绘图功能 Pandas 内置的绘图功能进行数据可视化是一种快速且有效的方法，它主要依赖于 Matplotlib 库。Pandas 提供了多种绘图类型，适用于不同的数据分析和可视化需求。 1）折线图 使用plot()绘制拆线图，常用参数如下， 参数 描述 x 一维数组或列表，表 ......
如何安装废弃版本的Jax —— pypi服务器上不保存的python包应该如何安装
python的公开扩展包的存储是在网站： http://pypi.org/ 一般情况下，这是没有问题的，但是对于一些更新版本比较多的扩展包就出现了问题，因为pypi的服务器对每个项目（扩展包）都是由存储限额的，因此每个项目只能在pypi服务器上存储一定数量的版本，这样也就必然导致旧版本的删除，这种情 ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
5-6虚拟机的网络配置及远程登录
网络配置 桥接模式 虚拟机和物理机的地位相同。虚拟机的网络接口与物理网络的接口相连，就像是连接到同一网络中的两个物理设备一样。虚拟机可以获得和物理网络相同的IP地址范围，并能直接与物理网络中的其他设备通信。 虚拟机的网卡就是VMware1 NAT模式 物理机虚拟出一个NAT服务器，建立一个虚拟的局域 ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
[python]沪深龙虎榜数据导入通达信的自选板块，并标注于K线图上
1 #coding=utf-8 2 3 #读取'[paint]'开头的csv文件 4 #copyright @ WangXinsheng 5 #http://www.cnblogs.com/wangxinsheng/ 6 import os 7 import struct 8 import time ......
为什么建筑设计师选择网络渲染"效果图"
网络渲染一般是指：云渲染，建筑设计行业通常需要渲染室内、室内等场景的效果图，一般大型场景渲染时非常消耗电脑算力，并且渲染时长也会通过效果图的场景、尺寸等来决定，本文为用户整理建筑设计师选择网络渲染的原因，希望对大家有一定的帮助！ 效果图通常是指什么？ 效果图广泛应用于建筑设计、室内设计、游戏开发、动 ......
python中sorted()函数解析
sorted() 函数对所有可迭代的对象进行排序操作。 sort 与 sorted 区别： sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。 list 的 sort 方法返回的是对已经存在的列表进行操作，无返回值，而内建函数 sorted 方法返回的是一个新 ......
Python开启线程和线程池的方法
一.最佳线程数的获取： 1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间 2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量 3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测 ......