数据 视频 服务平台 步骤
2023最新ELK日志平台（elasticsearch+logstash+kibana）搭建
去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。
这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。 ......
透过等待看数据库
等待分类与解决基本流程 步骤1.定位问题 系统等待往往能直观的反映出系统问题。通过一些常见的等待类型，同样可以找到系统瓶颈，结合性能计数器往往定位更准确。 如：系统中存在大量IO类等待，那么可能表示你的磁盘或内存是语句运行缓慢的原因，也是系统的瓶颈所在。 常见的等待类型： CXPACKET：当尝试同 ......
MS SQL Server 删除重复行数据
您可以使用以下 SQL 语句删除 MS SQL Server 表中重复的行： WITH CTE AS ( SELECT ROW_NUMBER() OVER(PARTITION BY column1, column2, ... columnN ORDER BY (SELECT 0)) RN FROM ......
vivo 短视频用户访问体验优化实践
作者：vivo 互联网运维团队- Hu Tao 本文介绍了vivo短视频用户访问体验优化的实践思路，并简单讲解了实践背后的几点原理。 一、背景 我们平时在看抖音快手视频的时候，如果滑动到某个视频画面一直几s不动的时候，大概率就会划走了，所以在短视频项目中，画面卡顿是非常影响用户体验的，启播速度越快， ......
windows 系统下 workerman 在同一个运行窗口中开启多个 websocket 服务
🎈 开启多个 ws 服务失败 正常情况下，如果你想开启多个 websocket 服务的话 只要在一个文件中，输入 new Worker 两次，监听不同端口，使用 Worker::runAll() 命令即可 但是你会发现在在 windows 中无法在一个文件中同时监听两个 websocket 服务， ......
文心一言,通营销之学,成一家之言,百度人工智能AI大数据模型文心一言Python3.10接入
“文心”取自《文心雕龙》一书的开篇，作者刘勰在书中引述了一个古代典故：春秋时期，鲁国有一位名叫孔文子的大夫，他在学问上非常有造诣，但是他的儿子却不学无术，孔文子非常痛心。 一天，孔文子在山上遇到了一位神仙，神仙告诉他：“你的儿子之所以不学无术，是因为你没有给他灌输文心，让他懂得文学的魅力和意义。”孔 ......
.NET应用系统的国际化-多语言翻译服务
上篇文章我们介绍了 .NET应用系统的国际化-基于Roslyn抽取词条、更新代码 系统国际化改造整体设计思路如下： 提供一个工具，识别前后端代码中的中文，形成多语言词条，按语言、界面、模块统一管理多有的多语言词条 提供一个翻译服务，批量翻译多语言词条 提供一个词条服务，支持后端代码在运行时根据用户登 ......
基于深度学习的车型识别系统（Python+清新界面+数据集）
基于深度学习的车型识别系统用于识别不同类型的车辆，应用YOLO V5算法根据不同尺寸大小区分和检测车辆，并统计各类型数量以辅助智能交通管理。本文详细介绍车型识别系统，在介绍算法原理的同时，给出Python的实现代码以及PyQt的UI界面。在界面中可以选择各种图片、视频进行检测识别；可对图像中存在的多... ......
基于深度学习的智能PCB板缺陷检测系统（Python+清新界面+数据集）
智能PCB板缺陷检测系统用于智能检测工业印刷电路板（PCB）常见缺陷，自动化标注、记录和保存缺陷位置和类型，以辅助电路板的质检。本文详细介绍智能PCB板缺陷检测系统，在介绍算法原理的同时，给出Python的实现代码以及PyQt的UI界面和训练数据集。在界面中可以选择各种图片、视频进行检测识别；可对图... ......
基于深度学习的农作物叶片病害检测系统（UI界面+YOLOv5+训练数据集）
农作物叶片病害检测系统用于智能检测常见农作物叶片病害情况，自动化标注、记录和保存病害位置和类型，辅助作物病害防治以增加产值。本文详细介绍基于YOLOv5深度学习模型的农作物叶片病害检测系统，在介绍算法原理的同时，给出Python的实现代码、PyQt的UI界面以及训练数据集。在界面中可以选择各种图片、... ......
aspnetcore微服务中使用发件箱模式实例
aspnetcore微服务种服务之间的通信一般都有用到消息中间件，如何确保该服务的持久层保存创建的数据同时又把消息成功投递到了关联服务，关联服务做对应的处理。 下面就以一个简单的例子来演示实现方式之一，即发件箱模式。 下面解决方案有两个服务，做演示用的比较简单，一个是订单服务，一个是账单服务。完成订 ......
DevOps｜研发效能不是老板工程，是开发者服务
有人说研发效能是老板工程。不是的，研发效能不是老板工程，它不直接服务于老板(虽然老板可能看一些报表)，反而是服务于广大产研运（产品+研发+质量+运维）的同学，所以有的公司也把研发效能叫做基础中台，平台工程，开发者服务团队，或者叫开发者服务平台。做好研发效能，做好开发者中台，就容易把公司的各种中后台能 ......
windows作业系统部署nfs服务
文件共享的需求是如何产生的？ 据说当年美国和苏联冷战期间，双方都有摧毁对方的能力。而苏联 不怕死的性格让美国人多少有些害怕。美国当时害怕自己的军事指挥中心被苏联摧毁。于是，美国建立了阿帕网,并把自己的军事指挥中心分开建立，这就叫分布式，用我们中国人的话说 :"不要把鸡蛋放在同一个篮子里"。 同时，美 ......
【RSocket】使用 RSocket（三）——服务端主动调用客户端方法
1. 编写客户端接收请求的逻辑 我们可以在初始化 Rsocket 实例的时候指定客户端可以被调用的方法，使用 acceptor() 指定可被调用的方法和方法使用的通信模型类型： 通信类型为 RequestResponse 时： .acceptor(SocketAcceptor.forRequestR ......
接入HMS Core应用内支付服务过程中一些常见问题总结
华为HMS Core应用内支付服务（In-App Purchases，IAP）为应用提供便捷的应用内支付体验和简便的接入流程。该服务支持客户端和服务端两种开发形式，具体可以参考官方文档。 往期文章：常见问题总结（2）中分享总结了有关无法拉起支付页面的常见问题，本文将对近期开发者们较为关注的一些集成应 ......
Django笔记二之连接数据库、执行migrate数据结构更改操作
本篇笔记目录索引如下： Django 连接mysql，执行数据库表结构迁移步骤介绍 操作数据库，对数据进行简单操作 接下来几篇笔记都会介绍和数据库相关，包括数据库的连接、操作（包括增删改查）、对应的字段类型、model 里Meta 相关参数和 QueryAPI 的详解等。 这一篇先介绍数据库的连接和 ......
Django笔记三之使用model对数据库进行增删改查
本篇笔记目录索引如下： model 准备 增 查 删 改 1、model 准备 在上一篇笔记中，我们新建了一个 application，增加了几个model 同步到了数据库，这次我们新建一个名为 blog 的application，同步数据结构。 大概分为以下几步： python3 manage.p ......
Redis - 基础数据类型
学会使用 Redis 的一个重要内容就是 Redis 的数据类型，对于开发人员而言，学会 Redis 基础数据类型的使用即可应用到程序开发当中。 ......
（数据科学学习手札150）基于dask对geopandas进行并行加速
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，geopandas作为我们非常熟悉的Python GIS利器，兼顾着高性能和易用性，特别是在其0.12.0版本开始使用全新的sha ......
鸿蒙元服务上架全攻略 | 四轮驱动，助力元服务澎湃动力
黎明前的暗夜下，巍巍昆仑侧广袤草原上，一道激光无声闪过，一辆黑马披星戴月疾驰向北。天边泛起朦朦金光，远处黑马的合金轮毂激射出金色炫光。 鸿蒙元服务（简称元服务）是华为提供的一种面向未来的服务形态，具有独立入口和免安装等特性，支持运行在1+8+N设备上。在万物互联时代，元服务酷似一匹黑马提供了更丰富的 ......
BootstrapBlazor + FreeSql ORM 实战 Table 表格组件维护多表数据 - OneToOne
OneToOne 垂直扩展表字段是很常见的方法, 主表存商品资料, 分表存每个客户对应商品的备注和个性化的价格等等, 本文使用Blazor一步步实现这个简单的需求. ......
js直接操作数据库会怎么样
这几天刷脉脉的时候看到一个话题初看觉得可笑，再看陷入沉思，最后还是决定花点时间想清楚，写下来。 确实没见人这么干过，为什么呢？ 技术限制 被技术限制了？据我所知目前没有面向js的数据库驱动，但反观现在的技术大潮，写一个面向js的数据库驱动应该也不是什么难事。安全限制被安全性限制了？js在网站中的分量 ......
发布新版博客备份功能：生成 sqlite 数据库文件，vscode 插件可查看
大家好，最近我们重新开发了园子的博客备份功能，今天发布第一个预览版，欢迎大家试用。园子的 vscode 插件也集成了博客备份功能，不仅可以查看通过博客后台下载的备份文件，而且可以直接在 vscode 插件中直接操作博客备份的创建、下载、查看。 ......
如何获取obs视频帧的二进制数据
前面几篇文章梳理了obs的录屏和推流流程，几条纵线整理下来，算是基本理清了obs的工作流程。
现在回到第一个目标：捕捉桌面的帧数据，用rendertarget显示并输出到UE5材质。
那么，帧数据到底存放在哪里？如何读取？ ......
基于 RocketMQ Connect 构建数据流转处理平台
为什么在“双11”抢红包活动及大型数据系统中总是出现 RocketMQ 的身影？ RocketMQ Connect在RocketMQ 生态中扮演什么角色？本文为大家解答上述疑问。同时，介绍 OceanBase 与 RocketMQ 如何集成以及能帮助大家解决哪些问题。 ......
使用python自动监控程序运行过程数据
工作中会遇到需要监控程序运行过程数据的情况，比如定时执行监控的cmd并记录执行结果，本文提供一种实现方式，便于后续排查问题。 ......
在echaerts中渲染50万条数据的优化方案
背景：项目需求中要在页面上渲染大约50万条左右的波形数据图表 那么如何解决渲染中的卡顿呢？ 肯定是要从服务端和前端一起优化这是毋庸置疑的。 1.服务端： 服务端耗时最多的一定是在数据库的筛选数据的行为上，本次需求中数据的筛选是根据物理量的类型和时间来进行的。 为了提速，应当取消掉其他的筛选条件，并且 ......
如何实现云数据治理中的数据安全？
云计算被定义为计算资源的共享池，已经在不同的应用领域广泛部署和使用。在云计算中，数据治理在提高整体性能和确保数据安全方面发挥着至关重要的作用。本研究从管理和技术应用两方面探讨如何实现云数据治理中的数据 ......
基于Kubernetes(k8s)部署Dubbo+Nacos服务
一、说明 本文介绍基于 Kubernetes(k8s) 环境集成阿里云 私有镜像仓库 来部署一套 Dubbo + Nacos 的微服务系统，并使用 Kubernetes DNS 以及 port-forward 的方式来打通网络访问。 k8s环境搭建参考文章《基于minikube快速搭建kuberne ......
Redis中 HyperLogLog数据类型使用总结
转载请注明出处： 目录 1. HyperLogLog 的原理 2.使用步骤 3.实现请求ip去重的浏览量使用示例 4.Jedis客户端使用 5.Redission使用依赖 6.HyperLogLog 提供了哪些特性和方法 7.使用场景总结 1. HyperLogLog 的原理 Redis Hyper ......