数据 数据分析 缺失 问题
关于数据库的基础
单一索引：只是用某一列数据作为索引，默认是index索引，这一列可以包含重复数据；如果某一列不存在重复数据最好设置成unique形式的索引，比index的索引速度更快，在text数据上要使用fulltext索引。联合索引：为了更进一步提高检索速度，每次检索都需要用多列同时进行时，就可以把这多列设为联 ......
Redis异常问题分析黄金一分钟
Redis异常问题分析黄金一分钟 背景 同事发现一个环境redis比较卡顿,导致业务比较难以开展. 问题是下午出现的. 六点左右找到我这边. 想着帮忙看看, 问题其实没有定位完全, 仅是发现了一个可能的点. 所以想记录一下, 备查 步骤 登录redis进行查看 处理的过程: 1. info memo ......
MongoDB、Elasticsearch、Redis、HBase应用场景分析
1. MongoDB 一个基于分布式文件存储的数据库系统，由C++编写，旨在为Web应用提供高速、可扩展、高性能的数据存储解决方案。MongoDB采用了文档型数据库模型，即数据以文档的形式存储，而文档是由键值对组成的。MongoDB的名称来自Hadoop创始人Doug Cutting的宠物狗Mong ......
关于在doker中部署superset后远程登录时原地跳转的问题
排除密码错误后实时log查看报错: docker logs -f superset 发现问题为 flask_wtf.csrf:The CSRF session token is missing. 原因是Superset 使用Flask和Flask-Login进行用户会话管理。以及 TALISMAN_ ......
数据库软硬件选型的思考
数据库软硬件选型的思考 背景 最近有多个项目出现过数据库的问题 这里想总结语一下遇到的问题. 以及可能的软硬件优化方案与思路. 暂时还没有进行过系统的测试验证, 所以仅是一个思考, 后续会慢慢完善. 硬件选型 截止现在 2024年元旦之前. Oracle数据库我认为还是选择 Intel的CPU更好. ......
debezium同步Oracle数据时，更新操作只有被变更字段，其余字段值为null，主键ID值为0
1.情景展示 使用debezium的Oracle插件（io.debezium.connector.oracle.OracleConnector）自动读取Oracle的归档日志。 当我对Oracle数据库受监控的表（待同步表），进行更新操作后，debezium会自动将变更记录推送到kafka当中。 新 ......
Kafka 保证消息消费的全局顺序性问题
参考：https://mp.weixin.qq.com/s/A69gY_tDXrs4kQPiuUNJTQ Kafka 的设计目标是提供高吞吐量和低延迟，而不是强制保证全局有序性，所以Kafka使用多分区的概念，并且只保证单分区有序 如果想要实现消息的全局有序 方法1.单分区策略： 一个主题下只创建一 ......
[学习笔记]批量迁移数据库文件
拷贝数据库文件 首先在本地运行如下SQL语句，查看数据库文件的磁盘位置 SELECT name, physical_name AS CurrentLocation, state_desc FROM sys.master_files 默认是保存在C:\Program Files\Microsoft S ......
单元格多个数据分列后添加行
单元格多个数据分列后添加行 表格中单元格包含多个数据，需要将单元格内的多个数据分列后添加到行数据。示例如下： 处理前表格： 目标是对选项列中分号分隔的数据进行处理，并添加行数据。 处理后表格： 点击查看代码 #单元格多个数据分列后添加行 import pandas as pd import nump ......
5.经典进程同步问题
生产者消费者问题 一组生产者进程和一组消费者进程共享一个初始为空，大小为n的缓冲区。当缓冲区没满时，生产者才能把消息放入缓冲区，否则必须等待，只有缓冲区不空时，消费者才能从中取出消息，否则必须等待。由于缓冲区是临界资源，它只允许一个生产者放入消息，或一个消费者从中取出消息。 semaphore mu ......
安防监控EasyCVR平台如何通过api接口设置实时流的sei数据实现画框等操作？
国标GB28181视频监控系统EasyCVR平台采用了开放式的网络结构，支持高清视频的接入和传输、分发，能提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力，此外，高清可视化视频监控平台EasyCVR还具备权限管理、 ......
金蝶云星空部署包执行后元数据对象的变化和使用
部署包执行后，会将执行的元数据记录了部署包的版本号，带上改部署包的开发商标识，在被执行后部署包环境里只有当前开发商下的开发者才可以修改该元数据，其他开发商不允许直接签出修改，只能扩展或者继承处理。 如果想解决这个问题： 1、 清除补丁包的版本号 2、 将扩展的元数据导出备份，重新扩展后再合并备份的扩 ......
智能监测/检测系统/摄像头监控系统EasyCVR大华云台控制问题的解决方法
GB28181视频集中存储/云存储/视频监控管理平台EasyCVR能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，实现视频资源的鉴权管理、按需调阅、全网分发、智能分析等。AI智能大数据视频分析EasyCVR平台已经广泛应用在工地、工厂、园区、楼宇、校园、仓储等场景中。 有用户 ......
Redis全文搜索教程之创建索引并关联源数据
Redis 全文搜索是依赖于 Redis 官方提供的 RediSearch 来实现的。RediSearch 提供了一种简单快速的方法对 hash 或者 json 类型数据的任何字段建立二级索引，然后就可以对被索引的 hash 或者 json 类型数据字段进行搜索和聚合操作。 这里我们把被索引的 ha ......
大数据技术在GB28181协议LiteCVR安防视频管理平台中的应用
大数据技术与LiteCVR视频监控的关联和应用非常紧密。大数据技术可以提供数据的存储、处理和分析能力，实现对视频监控数据的实时处理和分析，提供精确的监控结果和预警服务，并将视频监控数据与其他数据源进行融合分析，提供更全面的信息支持。（litemedia/cn，成都来特科技，专注音视频算法平台和云平台... ......
安防升级！羚通视频智能分析平台助力安全帽、反光衣算法识别，让安全无处不在！
在现代社会中，公共安全和个体防护已经成为了我们日常生活的重要组成部分。特别是在一些高风险的工作环境中，如建筑工地、交通警察等，安全帽和反光衣的使用是保障工作人员安全的重要手段。然而，传统的人工监控方式往往无法做到实时、准确的监控和识别，这就为羚通视频智能分析平台的出现提供了广阔的应用空间。 羚通视频 ......
formatter 和 scope 冲突不能同时使用失效问题
formatter 和 scope 冲突不能同时使用否则就会失效 解决办法： 自己写 formatter 方法： <div v-else-if="item.prop 'file_size'"> <span v-html="formatter(scope.row.file_size, item.pro ......
边缘计算有哪些常用场景？TSINGSEE边缘AI视频分析技术行业解决方案
实时检测施工人员是否佩戴安全帽、穿着反光衣，并对施工人员的违规或不安全行为（越界、入侵、、摔倒、奔跑、抽烟/玩手机/打电话等）进行检测和告警提醒 ......
vue+element 表格formatter数据格式化并且插入html标签 ;
formatter的用法： 列表内容回显， orderStatus 0 是未处理， 1是已处理等，不能直接展示，所以需要 formatter <el-table-column label="订单状态" prop="orderStatus" :formatter="statusFormatter"> ......
ENVI55扩展工具：Himawari FLDK HSD数据读取与处理工具
1 工具介绍 工具支持ENVI 5.5及以上版本。 本工具是基于观测区域为Full Disk（FLDK）的HSD数据开发测试的，其他观测区域未单独测试（貌似是支持的）。ENVI目前原生支持netcdf格式的数据读取，并不支持HSD数据（DAT格式）。 Himawari数据包含16个波段，每个波段分文 ......
Qt程序接收串口数据存在延迟解决办法
问题 在调试接收串口数据的Qt程序中发现，数据存在延迟和粘包现象。下位机发送数据包频率是100Hz，一包56字节，波特率115200，在打印port->readAll()的值的时候发现并不是每10ms读到一包数据，而是大概每50ms左右一次接收到5包数据，在其他电脑上调试，以及下载其他串口助手调试后 ......
duplicate克隆数据库脚本例子
建议目的端执行(源端也可以执行) rman target sys/oracle@tnsora11g_source auxiliary sys/oracle@tnsora11g_target run{ allocate channel prmy1 type disk; allocate channel ......
利用Python进行数据分析_Pandas_Numpy高级应用
Numpy高级应用 1.ndarray对象内部机理 import pandas as pd import numpy as np from pandas import Series,DataFrame import warnings warnings.filterwarnings("ignore") ......
羚通视频智能分析平台安防视频监控云平台抽烟识别 抽烟预警检测
随着科技的不断发展，人工智能技术已经深入到各个领域，为人们的生活带来了极大的便利。在安防领域，视频监控系统作为传统的安全防护手段，也在不断地进行技术创新和升级。羚通视频智能分析平台正是其中的佼佼者，通过抽烟识别与预警检测功能，为安防监控云平台注入了新的活力。 一、羚通视频智能分析平台简介 羚通视频智 ......
Zabbix——异常问题处理
中文显示乱码 前提条件： 准备好上传工具，我用的是WinSCP 使用字体是微软雅黑，如果使用其他的更改名称即可。 更改Zabbix服务器的默认参数： vi /usr/share/zabbix/include/defines.inc.php define( 'ZBX_GRAPH_FONT_NAME' ......
Request对象源码分析
1.分析APIVIew时，我们可以了解——以后的request都是drf提供的Request的对象了 from rest_framework.request import Request 2.源码分析 生成新request的部分源码： # 先看 __init__：类实例化得到对象时，对对象进行初始化 ......
图片上传 vue2+element 上传多个图片写法和常见问题1
data: results:接口返回是是[]； this.formList.result : '' ；是字符串 ， resultsList;[]； fileList:[]； 注： 因为后台需要接受字符， 上传文件又是 数组，所以需要自己 使用 split(',') ;join(' ,') 来切换数组 ......
APIView源码分析
1.和CBV源码执行流程相似，请求来了先走路由层： path('books/', views.BookView.as_view()) 2.走APIView的as_view方法，代码如下： @classmethod def as_view(cls, **initkwargs): view = supe ......
接口自动化之响应数据封装
在使用requests实现接口自动化时，接口响应的数据没有代码提示，要获取某个接口字段就需要通过[xxx]的方式来获取，实际开发过程中希望能通过.的方式来获取到某个接口响应属性。 方式一、使用dataclass dataclass是python3.7新推出的特性之一 from dataclasses ......
大数据hadoop理论面试题
1、列举几个hadoop生态圈的组件并做简要描述？ （1）Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。 （2）Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 （3）Hbase:是一个分布式的、面向列 ......