思路 数据 问题
接口自动化之响应数据封装
在使用requests实现接口自动化时，接口响应的数据没有代码提示，要获取某个接口字段就需要通过[xxx]的方式来获取，实际开发过程中希望能通过.的方式来获取到某个接口响应属性。 方式一、使用dataclass dataclass是python3.7新推出的特性之一 from dataclasses ......
下载图片中文乱码问题解决记录
1.问题背景 需求需要做一个场所码下载的需求，后端接口实现使用的是AWT[1]。在本地Windows开发环境联调接口一切正常，当部署到测试环境Linux服务器上之后，前端同事反馈下载的图片如下： 这个问题其实不能算是乱码，而是字体缺失，图片中的汉字使用了微软雅黑字体，而测试环境使用的是docker部 ......
大数据hadoop理论面试题
1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......
利用Python进行数据分析_Pandas_数据规整
数据规整 1.时间序列以及截面对齐 import pandas as pd import numpy as np from pandas import Series,DataFrame import warnings warnings.filterwarnings("ignore") # 设置一个日 ......
【笔记】2023.12.20：图论问题选讲
笔记 2023.12.20：图论问题选讲 目录笔记 2023.12.20：图论问题选讲QOJ5407 基础图论练习题性质做法CF1268D Invertation in Tournament性质一性质二性质三最终做法MST and Rectangles 还有几个题的题解（口胡）在路上了。 QOJ54 ......
列表页删除最后一页的最后一条数据，定位前一页数据
1、调用后端接口时，返回最大页码数，这样就可以避免 // 最后一页就剩一条，删除或者取消关注，默认展示前一页 if (tableData?.length == 0 && currentPage > 1) { const beforePageNum = result?.maxPage == 0 ? 1 ......
接口自动化之响应数据封装
在使用requests实现接口自动化时，接口响应的数据没有代码提示，要获取某个接口字段就需要通过[xxx]的方式来获取，实际开发过程中希望能通过.的方式来获取到某个接口响应属性。 方式一、使用dataclass dataclass是python3.7新推出的特性之一 from dataclasses ......
智驾数据采集平台搭建之多传感器联合标定
简介： 在自动驾驶发展如火如荼的今天，L4和L5级 的自动驾驶功能依旧处于算法开发和验证的阶段，就无可避免的需要极其庞大的路试数据用以支撑算法的开发和训练，为此，北汇信息为客户提供整套的数采平台解决方案。值得一提的是，在数采平台搭建后，到数据的消费端之前，必须要完成数采平台中传感器的标定，才能够使得 ......
数据库系列：业内主流MySQL数据中间件梳理
数据库系列：MySQL慢查询分析和性能优化 数据库系列：MySQL索引优化总结（综合版） 数据库系列：高并发下的数据字段变更 数据库系列：覆盖索引和规避回表 数据库系列：数据库高可用及无损扩容 数据库系列：使用高区分度索引列提升性能 数据库系列：前缀索引和索引长度的取舍 数据库系列：MySQL引擎M ......
python 数据结构与算法知识图
1.算法思想：递归、分治（归并排序、二分查找、快速排序）、贪心（贪心策略排序+当前最优）、动态规划（最优子结构+递推式）、回溯（解空间：排列树+子集树、深度搜索+剪枝）、分支限界（解空间：排列树+子集树、广度搜索+剪枝）） 2.排序算法：（low：冒泡、插入、选择；mid：快排、归并、堆排，其他：桶 ......
数据可视化爆发式发展背后原因探析
现在，数据可视化作为一种强大的工具逐渐走进人们的视野，其爆发式发展背后涌现了多种原因值得探讨，今天我就以可视化从业者的视角来简单谈谈数据可视化爆发式发展背后的原因。 首先是互联网和传感技术的普及，令大量数据源不断涌现，例如IOT设备、传感器等。这使得数据规模巨大且类型多样化，需要更好的方式来处理、理 ......
密码学家晚餐问题（n>2情况）
密码学家晚餐问题 场景描述 三位密码学家（Alice、Bob、Carol）正在享受晚餐，坐在他们钟爱的三星级餐馆。 业务逻辑 在准备支付账单时，侍者通知他们需要匿名支付，其中一个密码学家可能正在支付账单。账单可能已经由美国国家安全局（NSA）支付。他们互相尊重匿名支付的权利，但又需要确认是否是NSA ......
PHP RabbitMQ 发送端 channel->basic_publish() 阻塞问题记录
该问题是由于官方机制的带来的，当可用磁盘空间降至配置的限制（默认为50 MB）以下时，将触发警报，所有生产者将被阻止。目的是避免填满整个磁盘，这将导致节点上的所有写操作失败并可能导致RabbitMQ终止。 ......
js 处理对象数组 + map 筛选出指定字段数据 + filter过滤重复数据/指定数据
const res = [{ id: 1, name: 'zhangsan', age: 16, gender: 0 }, { id: 1, name: 'zhangsan', age: 16, gender: 0 }, { id: 2, name: 'lisi', age: 20, gender: ......
测试 doris stream load 数据流
root@tc-doris-fe-1:~# vim data.csv root@tc-doris-fe-1:~# curl --location-trusted -u root -T ./data.csv -H "label:label_example" -H "column_separator:, ......
【反汇编3】基本数据类型的表现形式
参考书籍，《C++反汇编与逆向分析技术揭秘》。 这次主要研究各种数据在计算机里怎么存的，又要涉及补码、科学计数法等基础内容。这些课程计算机专业的都会学，但作为程序员未必有直观的体验，比如java或python程序员，他们不用自己管理内存，也就根本不会接触到这类内容，例如int i = -1; 对于他 ......
Redis和Mysql如何保证数据一致性？
1、redis作用： 用于读数据库操作的缓存层，可以减少数据库的io，还能提升数据的io性能； 无法保证数据的acid 2、实现一致性方案： 1、先更新数据库，在更新缓存 2、先删除缓存再更新数据库 3、最终一致性方案： （1）基于roketMQ可靠通信 （2）通过canal组件采集mysql bi ......
C++聊天集群服务器解决客户端注销登录问题
客户端如何处理注销登录问题？ 问题描述: 在客户端登录后进行注销选择，然后重新登录刚才注销的账号，直接卡死。注意这是概率发生，因为是主线程和子线程抢服务器发送的信息，只有子线程抢到才会发生卡死 问题产生原因分析： 前置条件：主线程循环等待用户输入选择（第一张图是死循环，send后立马recv ......
MongoDB中如何优雅地删除大量数据
删除大量数据，无论是在哪种数据库中，都是一个普遍性的需求。 除了正常的业务需求，我们也需要通过这种方式来为数据库“瘦身”。 为什么要“瘦身”呢？ 表的数据量到达一定量级后，数据量越大，表的查询性能相对也会越差。 毕竟数据量越大，B+树的层级会越高，需要的IO也会越多。 表的数据有冷热之分，将很多无用 ......
vue3 实现用户登录和权限验证思路梳理
2023-12-20 星期三 一、用登录和退出问题 1登录 思路一： 1.1 login 登录页面，将token 存储本地中。 1.2 前置路由守卫获取 token 并验证， 1.3 前置路由 从缓存中获取用户的访问权限，并生成动态路由。 1.4 aixos 请求拦截器，从存储中获取存储的token ......
阿里云ECS自建K8S_IPV6重启后异常问题解决过程
阿里云ECS自建K8S_IPV6重启后异常问题解决过程 背景 最近安装了一个单节点的K8S_IPV6 昨天不知道何故 突然宕机了. 然后只能在阿里云的控制台后台重启了ECS 启动之后看K8S的状态一开始是正常的. 但是查看ing的时候,发现IP地址却变成了 IPV4的地址, 感觉比较奇怪. 这里整理 ......
数据隐私治理所面临的四大挑战
近年来，隐私功能越来越受到重视，在重大立法改革和加强监管审查的支持下，各组织通过部署和扩展专门的隐私计划和职能来做出回应。隐私不再是信息安全、法律或道德的一个子集，而是一门专业学科，需要全球专门的隐私专业人士投入时间和精力。 ......
Databend 源码阅读： Meta-service 数据结构
作者：张炎泼（XP） Databend Labs 成员，Databend 分布式研发负责人 https://github.com/drmingdrmer 引言 Databend 是一款开源的云原生数据库，采用 Rust 语言开发，专为云原生数据仓库的需求而设计。 面向云架构：Databend 是完全 ......
php+dm达梦数据库简单连接
1.安装php 准备php环境，下载phpstudy，自带php7.3.4nts，安装好以后如果系统环境变量没有配置要配置一下php的的系统环境变量 2.安装达梦数据库 win64+dmv8 在达梦数据库的文件夹中选择合适版本的扩展文件复制到 达梦的各版本扩展文件所在位置： php的扩展文件中 ph ......
linux：date <=> timestamp：转换；10进制 <=> 16进制；读取二进制原始数据hexdump
进制转换： 使用linux的 coreutils 的 printf 函数 ： printf "%d" 0xf23b9 printf "%x" 12345 date timestamp 转换： date +"%F_%T" -d @时间戳的长整型值 date +"%s" [now] tail\head ......
mysql数据库字符集utf8mb4和排序规则utf8mb4_bin
一、存储字符集 utf8 和 utf8mb41、utf8utf8 是 Mysql 中的一种字符集，只支持最长三个字节的 UTF-8 字符，也就是 Unicode 中的基本多文本平面2、utf8mb4要在 Mysql 中保存 4 字节长度的 UTF-8 字符，需要使用 utf8mb4 字符集，但只有 ......
项目迁移dotnet8，Docker容器报502问题解决
项目从dotnet6升级至dotnet8，本地运行正常，发布镜像至docker后容器运行正常，但请求改服务时响应502。 问题原因：项目内没有指定监听的端口，默认为80端口，但dotnet8 app的服务默认端口修改为了8080 解决方法： 1、在项目内增加指定服务监听的端口 builder.Web ......
李强 分布式计算、云计算与大数据 作者:林伟伟 著出版社:机械工业出版社出版时间:2015年11月
前 言背景分布式计算从20世纪六七十年代发展到现在，一直是计算机科学技术的理论与应用的热点问题，特别是*近几年，随着互联网、移动互联网、社交网络应用的发展，急需分布式计算的新技术——云计算、大数据，以满足和实现新时代计算机的应用需求。云计算、大数据等新技术本质上是分布式计算的发展和延伸，现有的书籍一 ......
三门问题与贝叶斯公式
三门问题 一个抽奖节目，舞台上有三扇门，其中一扇门的后面有汽车，其余两扇没有，选中有汽车的那扇门就可以赢得该汽车。首先参与者从三扇门中选择一扇，接着主持人会故意打开一扇没有车的门，并询问参与者是否要更改自己的选项。请问更改选项和不更改选项哪个的中奖概率更高？ 这是一个很容易犯错的问题，许多人会忽略题 ......
java.io.FileInputStream#read(byte[]) 阻塞导致没办法继续执行的问题处理
在对设备节点进行操作的时候，发现读的时候进入阻塞状态（可能是设备节点异常），导致没办法继续执行后面的代码 查看了一下，文件的方式读，是没办法配置超时的自动报异常的 设计了一段代码，针对读阻塞做异常处理 public static String sendCmdToFile(String fromFil ......