526互联

数据结构 队列linkedblockingqueue原理

分析RTP数据丢包与乱序

背景 问题描述： 某客户使用华为TE视频终端开会，会议偶发出现马赛克问题（每次马赛克持续2-4秒）。 设备通信： TE：视频终端，物理位置在A市 。MCU：类似视频服务器，物理位置在B市。开会时TE需要和MCU进行实时通信，中间经过运营商的专线。 初步分析： 视频有马赛克的话说明TE侧收到MCU发出 ......
数据 RTP

消息队列之日志处理

消息队列之日志处理 应用场景： 大型电商网站（淘宝、京东、国美、苏宁...）、App（抖音、美团、滴滴等）等需要分析用户行为，要根据用户的访问行为来发现用户的喜好以及活跃情况，需要在页面上收集大量的用户访问信息。 ......
队列 消息 日志

消息队列之流量削峰

消息队列之流量削峰 应用场景： 每天 0:00 到 12:00，A 系统风平浪静，每秒并发请求数量就 50 个。结果每次一到 12:00 ~ 13:00 ，每秒并发请求数量突然会暴增到 5k+ 条。但是系统是直接基于 MySQL 的，大量的请求涌入 MySQL，每秒钟对 MySQL 执行约 5k 条 ......
队列 消息

数据库表为什么创建索引后查询效率变高了呢？left join 中 如果想使用索引提高查询效率，是放到where之后还是on条件中呢？

1.数据库表为什么创建索引后查询效率变高了呢 索引是一种数据结构，它可以帮助数据库快速定位到需要查询的数据，从而提高查询效率1。当我们在数据库表上创建索引时，它会为表中的每一行数据创建一个索引项，这个索引项包含了指向该行数据的指针，这样当我们查询数据时，数据库就可以通过索引项快速定位到需要查询的数据 ......
索引 效率 条件 数据库 还是

消息队列之异步处理

消息队列之异步处理 一般互联网类的企业，对于用户直接的操作，一般要求是每个请求都必须在 200 ms 以内完成，对用户几乎是无感知的。 应用场景： A 系统接收一个请求，需要在自己本地写库，还需要在 BCD 三个系统写库，自己本地写库要 3ms，BCD 三个系统分别写库要 300ms、450ms、2 ......
队列 消息

MySQL大量脏数据,如何只保留最新的一条？

因为系统的一个Bug，导致数据库表中出现重复数据，需要做的是删除重复数据且只保留最新的一条数据。 具体场景是这样的 有张订单关联额外费用表,而且一个订单号(order_no)记录只能关联同一个费用(cost_id)一次，但是数据库中出现了同一个订单号关联同一个费用n次 当然有人会说上面的问题我们可以 ......
数据 MySQL

消息队列之系统解耦

消息队列之系统解耦 A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费。如果新系统需要数据，直接从 MQ 里消费即可；如果某个系统不需要这条数据了，就取消对 MQ 消息的消费即可。这样下来，A 系统压根儿不需要去考虑要给谁发送数据，不需要维护这个代码，也不需要考虑人家 ......
解耦 队列 消息 系统

JasperReport 如何利用list嵌套list循环展示数据

https://www.wanaright.com/2021/01/26/jasperreport-list-nest-list/ 需求描述 有时候我们在做 Jasper Report 报表的时候时常会遇到利用 list 循环数据的问题。这时候用工具自带的 list 可以解决问题。 但是如果是 li ......
list JasperReport 数据

Huggingface微调BART的代码示例：WMT16数据集训练新的标记进行翻译

BART模型是用来预训练seq-to-seq模型的降噪自动编码器（autoencoder）。它是一个序列到序列的模型，具有对损坏文本的双向编码器和一个从左到右的自回归解码器，所以它可以完美的执行翻译任务。 如果你想在翻译任务上测试一个新的体系结构，比如在自定义数据集上训练一个新的标记，那么处理起来会 ......
示例 Huggingface 标记 代码 数据

Qt+MySql开发笔记：Qt5.9.3的mingw32版本编译MySql8版本驱动并Demo连接数据库测试

前言 之前特定的mysql版本msvc版本已经调通了，但是为了更好的跨平台，所以选择用mingw32版本，于是需要编译mysql驱动的mingw32版本的驱动库，以便提供给qt连接mysql使用。 编译环境 Qt5.9.3 mingw32 安装得时候记得要勾选上源码 mysql-installer- ......
版本 MySql 数据库 笔记 数据

C# 将List 转成 树结构

递归方式1、创建一个树类 public class TreeNode { /// <summary> /// 子id /// </summary> public string Id { get; set; } /// <summary> /// 父id /// </summary> public s ......
结构 List

机器学习算法（二）: 基于鸢尾花数据集的朴素贝叶斯(Naive Bayes)预测分类

优点： 朴素贝叶斯算法主要基于经典的贝叶斯公式进行推倒，具有很好的数学原理。而且在数据量很小的时候表现良好，数据量很大的时候也可以进行增量计算。由于朴素贝叶斯使用先验概率估计后验概率具有很好的模型的可解释性。 缺点： 朴素贝叶斯模型与其他分类方法相比具有最小的理论误差率。但是实际上并非总是如此，这... ......
鸢尾花 鸢尾 算法 机器 数据

机器学习算法（三）：基于horse-colic数据的KNN近邻(k-nearest neighbors)预测分类

机器学习算法（三）：基于horse-colic数据的KNN近邻(k-nearest neighbors)预测分类 项目链接参考：https://www.heywhale.com/home/column/64141d6b1c8c8b518ba97dcc 1 KNN的介绍和应用 1.1 KNN的介绍 k ......
近邻 算法 horse-colic k-nearest neighbors

mysql迁移数据到新硬盘

最近生产环境的磁盘占用告急，其中mysql数据占比较多，决定将mysql的数据文件迁移到一块新的磁盘，在此记录下。 1.硬盘初始化 1.查看硬盘信息 lsblk 2.分区 fdisk /dev/vdb 输入 n 按回车新建分区 输入 p 按回车新建主分区 设置分区数量 直接回车 默认1 设置分区起始 ......
硬盘 数据 mysql

数据库系统原理之关系数据库

关系数据库 一、关系数据库概述 进入20世纪80年代后，在商用数据库管理系统中，关系模型逐渐取代早期的网状模型和层次模型，成为主流数据模型。 二、关系数据模型 关系数据结构 关系模型的数据结构只包含单一的数据结构，即关系。 在用户看来，关系模型是把数据库表示为关系的集合，且关系数据库是以二维表格的形 ......
数据库 数据 原理 系统

Python抓取数据如何设置爬虫ip

在写爬虫爬取github数据的时候，国内的ip不是非常稳定，在测试的时候容易down掉，因此需要设置爬虫ip。本片就如何在Python爬虫中设置爬虫ip展开介绍。 也可以爬取外网 爬虫编写 需求 做一个通用爬虫，根据github的搜索关键词进行全部内容爬取。 代码 首先开启爬虫ip，在设置中修改HT ......
爬虫 数据 Python

查看表结构

查看数据库表结构 SELECT HG_DUMP_SCRIPT('schema_name.table_name'); ......
结构

深入消息队列MQ，看这篇就够了！

大厂面试爱问消息队列 MQ。因为消息队列MQ，既是大型分布式系统不可缺少的中间件，也是高并发系统的基石中间件。如果你想要快速掌握消息队列 MQ 最内核的知识，以及消息队列MQ的主流应用场景、主流产品与选型、设计一个消息队列MQ方法......推荐查看并收藏本篇，基本上都讲齐全了。下面我将通过图文并茂 ......
队列 消息

全网最详细中英文ChatGPT-GPT-4示例文档-从0到1快速入门解析非结构化数据应用——官网推荐的48种最佳应用场景（附python/node.js/curl命令源代码，小白也能学）

ChatGPT可以利用自然语言理解和生成的能力，来处理非结构化数据。非结构化数据是指没有预定义的数据模型，不方便用数据库二维逻辑表来存储和查询的数据。ChatGPT可以将非结构化数据解析成结构化数据，例如表格、图表、列表等，从而方便用户进行分析和决策。例如，ChatGPT可以从一篇文章中提取出关键信... ......
全网 示例 源代码 ChatGPT-GPT 中英

网络对抗实验二 后门原理与实践

#实验内容 ###1.使用netcat获取主机操作Shell，cron启动 （1）使用netcat获取主机操作shell 首先在Kali终端输入ifconfig查找IP地址，Kali端IP地址为192.168.0.186 #图片 然后在Windows下输入ipconfig查询windows的ip为1 ......
后门 原理 网络

交易系统之数据库弱依赖解决方案

作者：京东科技 杜晓玉 前言 数据库，交易系统中最核心依赖，数据持久化属于最核心服务。 随着互联网的普及，大流量高并发的场景越来越多，7*24的交易系统对高可用要求越来越高，同时在“数据为王”大环境下，交易数据最终通过数据库进行持久化存储，数据库成为整个系统最终重要服务，不能出一点问题，尤其核心P0 ......
解决方案 数据库 方案 数据 系统

数据算法_组合优化_匈牙利算法

###组合优化问题 (Combinatorial optimization problem,COP) 是一类在离散状态下求极值的最优化问题 二分图(Bipartite graph) 匹配是由一组没有公共端点的边构成的集合。 U与V之间的关联视为前一帧与当前帧的同一id目标的检测框的关联 数据关联是多 ......
算法 数据

技术干货 从DBA视角看数据库运维管理平台

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 作者： z 文章来源：GreatSQL社区原创 DBA岗位会被云服务平台取代吗？ 前段时间看到网上的一篇文章《你怎么还在招聘DBA?》，引发网友热议。文 ......
干货 视角 数据库 数据 平台

记录一个常犯的错误：直接访问数据结构内部的数组

在xcpc竞赛中，我们通常不会封装用到的数据结构，在这种情况下常常出现直接访问到数据结构内部数组的情况，这种情况因为自己乍一看并不影响算法因此debug时很难找出来 例如树状数组中，初始化应当是从1一直add到n，而非遍历数组初始化。不过这种错误出现的不多，常见的是在循环之前对某个位置特殊处理时。例 ......
数据结构 数组 错误 结构 数据

Exp2-后门原理与实践

Exp2-后门原理与实践 实验基础 1 基础知识 后门的概念 后门就是不经过正常认证流程而访问系统的通道。后门可能出现在编译器中、操作系统中，最常见的是应用程序中的后门，还可能是潜伏于操作系统中或伪装成特定应用的专用后门程序。 常用后门工具 1.NC和Netcat 底层工具，进行基本的TCP、UDP ......
后门 原理 Exp2 Exp

对JavaScript原型链结构和作用的简单分析

首先是分析一下主要零件（对象，函数对象），再分析他们的连接方式。就可以很直观的理解原型链了。 一、对象 每个对象都有一个constructor属性; 指向其构造函数。 还有一个__proto__属性 ; 指向其构造函数的原型对象。 因此一个普通对象大概长这个样子 二、函数对象 函数对象也是对象,因此 ......
原型 JavaScript 作用 结构

import原理

1.模块(Module)和包(Package) 1.1 理解模块(Module) 理解为是一个py文件 module是组织单位，它自己独立构成一个命名空间，它本身是一个Python object 在Python object里面，还可以有很多其他的Python object 实际应用中， modul ......
原理 import

【数据库】Redis(7)--SpringBoot&SSM&集成Redis

本篇主要简单说明一下基于Springboot+SSM+Redis+Swagger集成项目。 1.具体实现 1.1.在pom.xml整合SSM+Redis+Swagger相关依赖 <dependency> <groupId>org.springframework.boot</groupId> <art ......
Redis SpringBoot amp 数据库 数据

云原生K8S精选的分布式可靠的键值存储etcd原理和实践

今天再下一个Go语言编写分布式键值存储的云原生组件ectd，了解其定义理、应用场景和特性，熟悉其整体架构和常用术语，进一步研究其读写和日志复制的原理，最后完整部署单示例和多实例集群和介绍一些常见命令。 ......
分布式 原理 etcd K8S K8

分页查询出现数据重复或丢失，你遇到过吗？

一、问题背景 最近部分销售人员反馈在 APP 上查询自己名下客户订单数据时，当往下拉取数据的时候，列表上经常出现重复的订单数据，经过排查，后端代码是通过如下方式来实现数据的分页查询的。 limit offset, size order by create_time desc 经过细致的分析，这种排序 ......
数据
共23000篇  :681/767页 首页上一页681下一页尾页