接口 数据python excel
【Python】【OpenCV】OCR识别（二）——透视变换
对于OCR技术在处理有角度有偏差的图像时是比较困难的，而水平的图像使用OCR识别准确度会高很多，因为文本通常是水平排列的，而OCR算法一般会假设文本是水平的。 针对上述情况，所以我们在处理有角度的图象时，需要将图像“摆正”，将使用到getPerspectiveTransform方法和warpPers ......
python 解决Fatal error in launcher:错误问题
python 解决Fatal error in launcher:错误问题 ━━━━━━━━━━━━━━━━━━━━━━━━━ 只要终端用到pip的东西，都在前面加python -m，比如python -m pip list 好了，完美解决！ 补充知识： python安装exe打包库命令pip in ......
关于大数据平台上任务管理的思考
本文于2019年7月16日完成，发布在个人博客网站上。 考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 作业，比如提交一个hive脚本到计算平台上运行，这个脚本宏观上称为一个作业。 任务，比如mapper，reducer等。 资源，比如CPU时间，内存，硬盘IO，网络 ......
Python Pandas 数据可视化
1、Pandas 的绘图功能 Pandas 内置的绘图功能进行数据可视化是一种快速且有效的方法，它主要依赖于 Matplotlib 库。Pandas 提供了多种绘图类型，适用于不同的数据分析和可视化需求。 1）折线图 使用plot()绘制拆线图，常用参数如下， 参数 描述 x 一维数组或列表，表 ......
Python 安装教程总结
1、使用官方 Python 安装程序 参考文档：Python在windows上安装配置方法(Python2和Python3) 具体操作如下， Windows下安装Python，我们可以参考这个文档教程来安装，下载 Python 安装程序，选择与您操作系统版本相对应的安装程序。对于 Windows 用 ......
【Application Insights】使用CURL命令向Application Insgihts发送测试数据
问题描述 在使用App Service或者Kubernetes等服务时，需要收集一些日志数据并且发送到Application Insights中，当使用SDK或者是服务自带的Application Insights配置时遇见问题，有没有快速的调试方式能验证App Service是否与Applicat ......
MyBatis—Spring 动态数据源事务的处理
在一般的 Spring 应用中，如果底层数据库访问采用的是 MyBatis，那么在大多数情况下，只使用一个单独的数据源，Spring 的事务管理在大多数情况下都是有效的。然而，在一些复杂的业务场景下，如需要在某一时刻访问不同的数据库，由于 Spring 对于事务管理实现的方式，可能不能达到预期的效果 ......
如何安装废弃版本的Jax —— pypi服务器上不保存的python包应该如何安装
python的公开扩展包的存储是在网站： http://pypi.org/ 一般情况下，这是没有问题的，但是对于一些更新版本比较多的扩展包就出现了问题，因为pypi的服务器对每个项目（扩展包）都是由存储限额的，因此每个项目只能在pypi服务器上存储一定数量的版本，这样也就必然导致旧版本的删除，这种情 ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
高级数据结构笔记
树套树 顾名思义，就是一个树套一个树。。。 广义的树套树是指嵌套多层的数据结构。常见的有：线段树套线段树（二维线段树），线段树套平衡树（“二逼平衡树”），分块套平衡树，树状数组套线段树（带修主席树）等等。 在这里，由于 set，map 等 STL 内部实现是平衡树，因此将这些 STL 的嵌套也算作树 ......
每周总结1/8（spring跨域问题与百度接口node.js跨域问题解决）
//baidu.js文件，接收传递的图片，进行base64处理，上传百度接口返还json处理结果const express = require('express'); const multer = require('multer'); const request = require('request ......
[python]沪深龙虎榜数据导入通达信的自选板块，并标注于K线图上
1 #coding=utf-8 2 3 #读取'[paint]'开头的csv文件 4 #copyright @ WangXinsheng 5 #http://www.cnblogs.com/wangxinsheng/ 6 import os 7 import struct 8 import time ......
程序员三大基础思维简谈：协议、接口和分层
不管是硬件设备、软件概念或者是网络通讯中，协议、接口无处不在，软件系统离不开分层模型。我认为它们应该是计算机类专业中基础的基础，是必学的课程或概念。协议和分层，各种课程都有涉及，但可惜的是，很多计算机类专业都没有设立接口技术这一项。 我当年上大学，接口技术只是一门不受重视的选修课，老师不讲，学生不用 ......
python中sorted()函数解析
sorted() 函数对所有可迭代的对象进行排序操作。 sort 与 sorted 区别： sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。 list 的 sort 方法返回的是对已经存在的列表进行操作，无返回值，而内建函数 sorted 方法返回的是一个新 ......
Python开启线程和线程池的方法
一.最佳线程数的获取： 1、通过用户慢慢递增来进行性能压测，观察QPS（即每秒的响应请求数，也即是最大吞吐能力。），响应时间 2、根据公式计算:服务器端最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量 3、单用户压测，查看CPU的消耗，然后直接乘以百分比，再进行压测 ......
Python中关于对象序列化实现和原理
pickle模块可以实现任意的Python对象转换为一系列字节(即序列化对象)的算法。这些字节流可以被传输或存储，接着也可以重构为—个和原先对象具有相同特征的新对象。 注意： pickle的文档清晰的表明它不提供安全保证。实际上，反序列化后可以执行任意代码，所以慎用 pickle来作为内部进程通信或 ......
python中自定义异常/raise关键字抛出异常
在编程过程中合理的使用异常可以使得程序正常的执行。有直接抛出异常的形式，也能通过捕获异常加入异常时的业务逻辑处理。 创建自定义异常类案例 class MyException(Exception): def __init__(self, msg): ''' :param msg: 异常信息 ''' s ......
python基础之函数
包含函数定义、调用函数、函数参数、函数的返回值 1. 函数定义 def 函数名(): pass 2. 函数的调用 函数名() 3. 函数的参数 // 位置传参数 def 函数名(a,b): c = a+b print（c） 函数名（1，2） // 关键字传参数 函数名（b=200,a=300) 4. ......
Python面向对象之派生和组合
【一】什么是派生 派生是指,子类继承父类,派生出自己的属性与方法,并且重用父类的属性与方法 【二】派生的方法 子类可以派生出自己新的属性，在进行属性查找时，子类中的属性名会优先于父类被查找 例如每个老师还有职称这一属性 我们就需要在Teacher类中定义该类自己的__init__覆盖父类的 当然子类 ......
Python面向对象之多态和鸭子类型
【一】多态 【1】什么是多态 多态指的是一类事物有多种形态 【2】示例 比如动物有多种形态：猫、狗、猪 import abc class Animal(metaclass=abc.ABCMeta): @abc.abstractmethod def talk(self): pass class Peo ......
深度学习图像复原之去雨：常用数据集介绍
可能有帮助的链接：https://paperswithcode.com/task/single-image-deraining 合成数据集 Rain100H 出自 CVPR 2017 论文 Deep Joint Rain Detection and Removal from a Single Ima ......
python基础之字符串、列表、字典
1. 字符串 2. 列表 增加 append(obj) insert（index，obj） extend([]) 修改 下标直接赋值 查找 in/not in 删除 del：根据下标进行删除 pop:删除最后一个元素 remove：根据元素的值删除 其他的 3. 元组 // 定义一个元素的元组需要加 ......
Oracle、达梦：☆获取数据库对象、获取对象的DDL定义语句(达梦)
一、获取数据库对象(Oracle、达梦) 以下方式在达梦DM数据库中都能跑通，Oracle未测试所有的方式。 1、获取对象（表、视图、函数等……） 1.1、获取所有对象——所有模式下的 ①、ALL_OBJECTS视图 数据库所有对象表：包括表、视图、物化视图、函数、存储过程……等 -- 查询所有对象 ......
44python 删除 linux 系统中的文件夹或文件
# 删除文件 import os os.remove('/path') # 删除文件夹(不为空也可以删除) import shutil shutil.rmtree('path') ......
9 个让你的 Python 代码更快的小技巧
哈喽大家好，我是咸鱼 我们经常听到 “Python 太慢了”，“Python 性能不行”这样的观点。但是，只要掌握一些编程技巧，就能大幅提升 Python 的运行速度。 今天就让我们一起来看下让 Python 性能更高的 9 个小技巧 原文链接： https://medium.com/techtof ......
C# 使用protobuf序列化反序列化数据
protobuf是谷歌的一个序列化数据结构的协议，性能高，存储占用小 经过我的测试对比 1，最慢的是C#内置的BinaryFormatter，这个玩意能不用则不用 2，然后是json，用起来很方便，比BinaryFormatter快了1-2倍 3，接下来就是protobuf，不过需要给类的成员加上特 ......
Excel处理双引号和逗号
先用excel将数据，添加双引号""和逗号 先复制到一列中，然后两个两个加“”，最后ctrl+E就可以了 常规格式即可 notepad 记事本格式是这样的 执行脚本 实现效果： 将文本添加一样的字符窜即可 ......
Hive 数据写入流程
概念简介 外部表：删除表时，外部表只删除元数据,不删除数据。适用于数据源被多处使用的场景，便于数据共享。 内部表：删除表时，内部表的元数据和数据会被一起删除。适用于不需要共享的原始数据或中间数据。 分区表：数据较多，为提高计算速度时使用。 内部表&外部表写入流程图 具体流程Demo 以外部表为例： ......
hive分区表数据导入
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间，主要包括两种分区形式：水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区，一般是通过对表的垂直划分来减少目标表的宽度，常用的是水平分区. 1. hive建立分区表 create external ta ......