python spark rdd
Python开启线程和线程池的方法
一.最佳线程数的获取： 1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间 2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量 3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测 ......
Python中关于对象序列化实现和原理
pickle模块可以实现任意的Python对象转换为一系列字节(即序列化对象)的算法。这些字节流可以被传输或存储，接着也可以重构为—个和原先对象具有相同特征的新对象。 注意： pickle的文档清晰的表明它不提供安全保证。实际上，反序列化后可以执行任意代码，所以慎用 pickle来作为内部进程通信或 ......
python中自定义异常/raise关键字抛出异常
在编程过程中合理的使用异常可以使得程序正常的执行。有直接抛出异常的形式，也能通过捕获异常加入异常时的业务逻辑处理。 创建自定义异常类案例 class MyException(Exception): def __init__(self, msg): ''' :param msg: 异常信息 ''' s ......
python基础之函数
包含函数定义、调用函数、函数参数、函数的返回值 1. 函数定义 def 函数名(): pass 2. 函数的调用 函数名() 3. 函数的参数 // 位置传参数 def 函数名(a,b): c = a+b print（c） 函数名（1，2） // 关键字传参数 函数名（b=200,a=300) 4. ......
Python面向对象之派生和组合
【一】什么是派生 派生是指,子类继承父类,派生出自己的属性与方法,并且重用父类的属性与方法 【二】派生的方法 子类可以派生出自己新的属性，在进行属性查找时，子类中的属性名会优先于父类被查找 例如每个老师还有职称这一属性 我们就需要在Teacher类中定义该类自己的__init__覆盖父类的 当然子类 ......
Python面向对象之多态和鸭子类型
【一】多态 【1】什么是多态 多态指的是一类事物有多种形态 【2】示例 比如动物有多种形态：猫、狗、猪 import abc class Animal(metaclass=abc.ABCMeta): @abc.abstractmethod def talk(self): pass class Peo ......
python基础之字符串、列表、字典
1. 字符串 2. 列表 增加 append(obj) insert（index，obj） extend([]) 修改 下标直接赋值 查找 in/not in 删除 del：根据下标进行删除 pop:删除最后一个元素 remove：根据元素的值删除 其他的 3. 元组 // 定义一个元素的元组需要加 ......
44python 删除 linux 系统中的文件夹或文件
# 删除文件 import os os.remove('/path') # 删除文件夹(不为空也可以删除) import shutil shutil.rmtree('path') ......
9 个让你的 Python 代码更快的小技巧
哈喽大家好，我是咸鱼 我们经常听到 “Python 太慢了”，“Python 性能不行”这样的观点。但是，只要掌握一些编程技巧，就能大幅提升 Python 的运行速度。 今天就让我们一起来看下让 Python 性能更高的 9 个小技巧 原文链接： https://medium.com/techtof ......
Python包管理之poetry基本使用
Python包管理之poetry基本使用 - 知乎 (zhihu.com) poetry是一个Python虚拟环境和依赖管理的工具，之前用pipenv，最近学习httprunner时，接触了poetry。poetry和pipenv类似，另外还提供了打包和发布的功能。 官方文档：https://pyt ......
使用python实现垃圾邮件分类——朴素贝叶斯
这个是我的python（选修课）期末作业，代码很简单，但是课程报告老师要求我们写出一朵花出来，我：？ 相关原理介绍： 贝叶斯公式，用于计算在已知一些相关事情发生的情况下，另一事件发生的概率，公式如下： 条件独立性假设，假设所有特征在类别给定的情况下都是相互独立的。 朴素贝叶斯公式，建立在贝叶斯公式和 ......
Python面向对象三大特性之封装
【一】面向对象的三大特性 面向对象编程有三大特性： 封装、继承、多态 其中最重要的一个特性就是封装。 封装指的就是把数据与功能都整合到一起 听起来是不是很熟悉，没错，我们之前所说的”整合“二字其实就是封装的通俗说法。 除此之外，针对封装到对象或者类中的属性，我们还可以严格控制对它们的访问，分两步实现 ......
python 提供一段文本和关键词列表进行标红处理
def highlight_keywords_html(text, keywords): for keyword in keywords: text = text.replace(keyword, '<span style="color:red;">' + keyword + '</span>') ......
python 搭建HTTP服务器
WSGI（Web Server Gateway Interface，web服务器网关接口）主要规定了服务器端和应用程序之间的接口，即规定了请求的URL到后台处理函数之间的映射该如何实现。wsgiref是一个帮助开发者开发测试的Python内置库，程序员可以通过这个库了解WSGI的基本运行原理，但是不 ......
Running Spark on YARN
Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. spark自0.60版本开始支持在YARN上运行，并在后续版本 ......
《Python语言程序设计基础》期末知识全面复习（2024.1.8更完）
此篇为期末考试全面复习而写，故包含许多不那么重要但是相当基础的概念。 时间紧张，故全半角符号混用。 望诸君见谅。祝期末顺利。 第一章 程序设计基本方法 1.程序设计语言： 分为机器语言、汇编语言和高级语言，前两个统称为低级语言。低级语言基于计算机结构而设计，直接操作于计算机硬件，高级语言的代码表示方 ......
如何用 Python 实现一个 “系统声音” 的实时律动挂件
前言 应该是三年前，我用 Esp8266 和 ws2812 实现了一个音乐律动灯带。就是电脑播放音乐时，灯带会随着系统内部音乐播放的频率而闪动不同色彩的灯珠。而当时用来监听系统声音的工具是一个博主提供的，除了实时采集声音外还通过 UDP 传递数据到 Esp8266 上。 而这次，我就自己用 Pyth ......
面试题：python的数据结构和数据类型
数据结构： 列表（List）：列表是Python中的基本数据结构之一，它是一个有序的元素集合，可以随时添加和删除其中的元素。 元组（Tuple）：元组与列表类似，也是一个有序的元素集合，但是元组是不可变的，一旦创建就不能更改。 集合（Set）：集合是一个无序的元素集合，其中的元素是唯一的，不存在重复 ......
面试题：python中__new__和__init__的区别
在Python中，__new__和__init__都是对象创建和初始化过程中的特殊方法，但它们在功能和用途上有一些重要的区别。 ·_new__：这个方法用于创建并返回一个新的对象实例。也就是说，它实际上是创建对象的过程。 ·__init__：这个方法用于初始化新创建的对象。也就是说，它用于设置对象的 ......
面试题：描述一下python的携程
python 中的携程是一种用户态的轻量级线程，它可以再单线程中实现并发执行。携程通过挂起和恢复执行来实现并发，不需要线程上下文切换的开销，也不需要原子操作锁定及同步的开销。 协程的执行流程类似于多线程，但是只有一个线程在执行子程序调用，一次返回，调用顺序是明确的。协程可以随时中断，然后转而执行别的 ......
【接口自动化测试实战】python接口自动化
一、自动化项目介绍 1.涉及技术栈 python requests pytest allure 2.实现的功能概述 支持requests各种请求 支持用例之间依赖关系 支持切换环境 支持按脚本的形式编写测试用例 支持生成html报告 二、框架及项目结构 项目目录 api_object：接口参数及扩展 ......
lc -- 第 121 场双周赛(bfs, 数位dp, python3, go)
简单模拟 class Solution: def missingInteger(self, nums: List[int]) -> int: res = nums[0] for i in range(1, len(nums)): if nums[i] == nums[i - 1] + 1: res ......
[oeasy]python0003_ 终端大冒险_终端命令_whoami_pwd_ls
终端大冒险_终端命令_ls_pwd_whoami 🥊 回忆 上次 了解基本环境 简称 含义 CLI 命令行界面 GUI 图形用户界面 在 CLI 中 通过终端 连接 远程服务器的 壳(shell) 控制 云端的核 (kernal) 管理 云端的资源 添加图片注释，不超过 140 字（可选） 打开了 ......
python与C++进行桌面截图和模板匹配对比——以梦幻西游为例
项目调用opencv配合dxgi完成对桌面和窗口的截图并进行不规则形状的模板匹配，并以梦幻西游为例，用来搜查鼠标位置（其实就是为了能写点游戏脚本玩玩）。
但最终目的其实是分别用纯C++、python搭配C++打包的dll、纯python 对比3种渠道的速度 ......
spark-cdh学习
Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......
python的metaclass
python中的metaclass可谓熟悉而又陌生，自己开发时很少用，阅读源码时却经常遇到，那么到底什么是metaclass呢？何时使用metaclass呢？ 动态创建class的方法 假设我们需要动态创建一个class，那么一般我们有这样几种方法 通过一个函数动态创建class 通过type动态创 ......
Python pip install修改默认下载路径
修改pip install默认下载路径 在实际使用安装python的pip安装 依赖库是非常的便捷的，而且一般大家使用的都是安装Anaconda 来学习和实践python项目。 我们通常都是直接就是使用 pip install *** 但是简单的背后就是，我们的最重要的系统盘C盘都是逐渐满了。更关键 ......
Python Matplotlib 设置显示中文(中文乱码)
Matplotlib中文显示问题通常与字体设置和系统环境相关。本文主要介绍Python Matplotlib 设置中文字体的方法，以及相关的示例代码。 1、使用font_manager的FontProperties解决 通过FontProperties来设置字符及大小，来解决中文显示的问题，代码 ......
python找不到包的总结: ImportError: No module named
python找不到包的总结: ImportError: No module named python找不到包的总结: ImportError: No module named_python import找不到包-CSDN博客 ImportError: No module named先写解决套路1. ......
python[xpath]-1基础部分，不会就查
一、直入主题，使用方式 xpath解析原理： 1、实例化一个etree的对象，且需要讲被解析的页面源码数据加载到该对象中 2、调用etree对象中的xpath方法，结合着xpath表达式实现标签的定位和内容的获取环境的安装 安装lxml模块 pip install lxml pip install ......