统计分析 代码 数据python
Python中关于对象序列化实现和原理
pickle模块可以实现任意的Python对象转换为一系列字节(即序列化对象)的算法。这些字节流可以被传输或存储，接着也可以重构为—个和原先对象具有相同特征的新对象。 注意： pickle的文档清晰的表明它不提供安全保证。实际上，反序列化后可以执行任意代码，所以慎用 pickle来作为内部进程通信或 ......
python中自定义异常/raise关键字抛出异常
在编程过程中合理的使用异常可以使得程序正常的执行。有直接抛出异常的形式，也能通过捕获异常加入异常时的业务逻辑处理。 创建自定义异常类案例 class MyException(Exception): def __init__(self, msg): ''' :param msg: 异常信息 ''' s ......
python基础之函数
包含函数定义、调用函数、函数参数、函数的返回值 1. 函数定义 def 函数名(): pass 2. 函数的调用 函数名() 3. 函数的参数 // 位置传参数 def 函数名(a,b): c = a+b print（c） 函数名（1，2） // 关键字传参数 函数名（b=200,a=300) 4. ......
Python面向对象之派生和组合
【一】什么是派生 派生是指,子类继承父类,派生出自己的属性与方法,并且重用父类的属性与方法 【二】派生的方法 子类可以派生出自己新的属性，在进行属性查找时，子类中的属性名会优先于父类被查找 例如每个老师还有职称这一属性 我们就需要在Teacher类中定义该类自己的__init__覆盖父类的 当然子类 ......
Python面向对象之多态和鸭子类型
【一】多态 【1】什么是多态 多态指的是一类事物有多种形态 【2】示例 比如动物有多种形态：猫、狗、猪 import abc class Animal(metaclass=abc.ABCMeta): @abc.abstractmethod def talk(self): pass class Peo ......
三个使用的微信平台统计
  insert（index，obj） extend([]) 修改 下标直接赋值 查找 in/not in 删除 del：根据下标进行删除 pop:删除最后一个元素 remove：根据元素的值删除 其他的 3. 元组 // 定义一个元素的元组需要加 ......
Oracle、达梦：☆获取数据库对象、获取对象的DDL定义语句(达梦)
一、获取数据库对象(Oracle、达梦) 以下方式在达梦DM数据库中都能跑通，Oracle未测试所有的方式。 1、获取对象（表、视图、函数等……） 1.1、获取所有对象——所有模式下的 ①、ALL_OBJECTS视图 数据库所有对象表：包括表、视图、物化视图、函数、存储过程……等 -- 查询所有对象 ......
44python 删除 linux 系统中的文件夹或文件
# 删除文件 import os os.remove('/path') # 删除文件夹(不为空也可以删除) import shutil shutil.rmtree('path') ......
9 个让你的 Python 代码更快的小技巧
哈喽大家好，我是咸鱼 我们经常听到 “Python 太慢了”，“Python 性能不行”这样的观点。但是，只要掌握一些编程技巧，就能大幅提升 Python 的运行速度。 今天就让我们一起来看下让 Python 性能更高的 9 个小技巧 原文链接： https://medium.com/techtof ......
C# 使用protobuf序列化反序列化数据
protobuf是谷歌的一个序列化数据结构的协议，性能高，存储占用小 经过我的测试对比 1，最慢的是C#内置的BinaryFormatter，这个玩意能不用则不用 2，然后是json，用起来很方便，比BinaryFormatter快了1-2倍 3，接下来就是protobuf，不过需要给类的成员加上特 ......
可视化监控EasyCVR视频分析/云存储平台iframe地址播放异常该如何解决？
安防视频监控/视频集中存储/云存储/磁盘阵列EasyCVR平台可拓展性强、视频能力灵活、部署轻快，可支持的主流标准协议有国标GB28181、RTSP/Onvif、RTMP等，以及支持厂家私有协议与SDK接入，包括海康Ehome、海大宇等设备的SDK等。平台既具备传统安防视频监控的能力，也具备接入AI ......
Hive 数据写入流程
概念简介 外部表：删除表时，外部表只删除元数据,不删除数据。适用于数据源被多处使用的场景，便于数据共享。 内部表：删除表时，内部表的元数据和数据会被一起删除。适用于不需要共享的原始数据或中间数据。 分区表：数据较多，为提高计算速度时使用。 内部表&外部表写入流程图 具体流程Demo 以外部表为例： ......
hive分区表数据导入
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external ta ......
Hive 复杂数据类型Array，Map，Struct
建表语句，支持嵌套 CREATE TABLE parquet_test ( id int, str string, mp MAP<STRING,STRING>, lst ARRAY<STRING>, strct STRUCT<A:STRING,B:STRING>) PARTITIONED BY (p ......
Hive写入JSON数据
优缺点： 1.JsonSerDe对json数据格式有严格要求，创建的表结果必须与json结构能对应上，否则会报错。 配置 org.openx.data.jsonserde.JsonSerDe 能解决格式异常报错导致整个任务终止的问题。 必须定义好详细字段嵌套的规则类型，不适合提取ODS原文。 2.g ......
Hive Array数据处理
建表 CREATE TABLE IF NOT EXISTS default.array_test( id String COMMENT 'id', name Array<String> COMMENT '名称' ) COMMENT 'array测试' ROW FORMAT DELIMITED FIE ......
vue实现虚拟滚动（面试题：后端给你十万条数据，你怎么处理？）
<template> <div class="viewport" @scroll="scroll"> <div class="list-phantom" :style="{height: totalHeight+'px'}"></div> <div class="list-area" :style= ......
Python包管理之poetry基本使用
Python包管理之poetry基本使用 - 知乎 (zhihu.com) poetry是一个Python虚拟环境和依赖管理的工具，之前用pipenv，最近学习httprunner时，接触了poetry。poetry和pipenv类似，另外还提供了打包和发布的功能。 官方文档：https://pyt ......
屎山代码风格指南（避免被优化&&避免被接盘）
欢迎补充！！！ 序言 良好的代码结构：Bad 👎🏻 使用有意义的变量和函数名，遵循命名规范，使代码易于理解。 组织代码，使用适当的文件和文件夹结构，保持模块化。 避免全局变量的滥用，尽量使用局部作用域。 单一职责原则：Bad 👎🏻 每个函数或模块应该只负责一个特定的功能。这样的设计使得代码更 ......
java生成企业公章图片源代码
企业公章图片在电子签章业务中应用广泛，在电子签章应用过程中首先需要生成公章图片，然后再使用公章图片结合数字签名技术完成电子签，这样就实现了从可视化到不可篡改的数字化电子签章功能，以下是企业公章图片生成源代码。 ......
使用python实现垃圾邮件分类——朴素贝叶斯
这个是我的python（选修课）期末作业，代码很简单，但是课程报告老师要求我们写出一朵花出来，我：？ 相关原理介绍： 贝叶斯公式，用于计算在已知一些相关事情发生的情况下，另一事件发生的概率，公式如下： 条件独立性假设，假设所有特征在类别给定的情况下都是相互独立的。 朴素贝叶斯公式，建立在贝叶斯公式和 ......
Power BI - 5分钟学习修改数据类型
每天5分钟，今天介绍Power BI修改数据类型 Power BI加载数据时，会尝试将源列的数据类型转换为更高效的存储、计算和数据可视化的数据类型。例如，如果从Excel导入的值的列没有小数值，Power BI Desktop会将整个数据列转换为整数数据类型，这能更好地优化存储提高计算效率。 但是某 ......
实现简单日志管理类 + 单例模式分析优化
#pragma once #include <stdio.h> #include <iostream> #include <string> #include <vector> #include <list> #include <stdarg.h> #include <pthread.h> #incl ......
excel统计单元格内字符出现的次数
统计","在一个单元格中出现的次数： =LEN(B6)-LEN(SUBSTITUTE(B6,",","")) 参考：link ......
数据结构-单调队列
单调队列使用范围： 滑动区间的极值查询与维护 单调队列的原理： 单调队列需要持续维护队列的单调性，我们假设该队列为单增队列，那么最小值可以在队尾取得。 如图是一个刚建立的队列 接下来思考插入一个元素怎么处理：我们从队首开始看，如果队首的元素比目前需要插入的值大，那么原先队列的那个值在滑动过程中就不会 ......
列式云数据库与关系型云数据库：区别、优缺点与选择
列式云数据库与关系型云数据库的区别
数据存储方式
列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位... ......