数据 数据采集 光纤 平台
Redis和Mysql如何保持数据一致性
导致不一致原因： 在高并发的场景下，大量的请求直接访问MySQL很容易造成性能问题。所以，我们都会用Redis来做数据的缓存，削减对数据库的请求。但是，MySQL和Redis是两种不同的数据库，如何保证不同数据库之间数据的一致性就非常关键了。 1、在高并发的业务场景下，数据库大多数情况都是用户并发访 ......
spring国际化访问数据空指针问题记录
@Controller @RequestMapping("/ops/hbase/cluster") public class HBaseClusterManageController { private List<String> inComputerRooms = Arrays.asList(/*r ......
数据治理工具DataHub的安装及踩坑过程
项目上后面要搞数据治理，网上主流的开源组件是Atlas和DataHub，这几天刚好有时间，先把DataHub安装试用一下。安装过程中问题较多，花了两天时间才安装完。先把安装过程记录一下，后面把功能试用情况也写出来。 ......
【数据结构】数组与广义表 - 笔记
数组与广义表的一章相对更为简单，第1,2节都是很熟悉的数组相关定义、实现等。因此这篇博客的讲述重点放在第3节“特殊矩阵的压缩存储”中的“稀疏矩阵”的存储以及第4节“广义表”上面。 稀疏矩阵 讲解 稀疏矩阵指的是矩阵中大多数元素为0的矩阵。这时使用传统的二维数组来存储很浪费空间，不妨单独将非零元素的 ......
数据分析之营销管理方法论--4P营销理论
4P营销理论 4P营销理论被归结为四个基本策略的组合，即产品（Product）、价格（Price）、渠道（Place）、宣传（Promotion），由于这四个词的英文字头都是P，再加上策略（Strategy），所以简称为“4P’s” 产品：产品是营销组合中第一个和最重要的要素。产品是品牌的载体，是满 ......
数据分析之营销管理方法论--用户使用行为分析
用户使用行为 1. 为什么要做用户使用行为分析？ 用户行为数据时指在产品内进行各种操作产生的数据。比如：访问、浏览和行为事件。每个访问时间可由多个浏览事件和点击事件构成。同样的可以理解为5个元素构成： who、when、 where、 how、 what。 谁在什么时间，什么地点以什么交互方式做了什 ......
SpringBoot项目，Mybatis查数据有些字段值为null，有些又有值？？
问题：SpringBoot项目，Mybatis查数据有些字段值为null，有些又有值？？ 上网查看了许多博客，发现大多说的都是实体对象的名称和数据库字段的名称不一样，但是我检查了发现是一样的。我以为id数据库是int，而实体对象是Integer的原因，我想着java不是可以自动拆装箱吗，改来改去发现 ......
数据分析之数据建模
一、什么是数据建模？ （1）数据模型，就是在数据层面建立起来的一种逻辑关系的算法集合，该算法集合可以运算未来的同源数据，并产生可预期的结果。通俗说，模型就是算法或公式，如模型y=ax+b，通过该公式，输入x，可以得到y值。通过数据建模输出的模型，就是数据模型。 （2）数据建模是数据分析的一部分，数据 ......
数据分析之数据分析方法
常用数据分析方法分类： 数据分析方法有很多种，需要根据业务场景中分析目的的不同，选择对应的分析方法，如果你的分析目的是想将复杂的问题变得简单，就可以使用逻辑树分析方法，例如经典的费米问题就可以用这个分析方法。如果你想分析用户的转化，就要用到漏斗分析方法，录入店铺小周销量下降，想知道中间那个业务环节出 ......
数据分析第十章实践
import pandas as pd import matplotlib.pyplot as plt inputfile ='C:/Users/Lenore/Desktop/data\original_data.xls' # 输入的数据文件 data = pd.read_excel(inputfi ......
c# 连接 sql server 数据库时报错，证书链是由不受信任的颁发机构颁发的。
c# 连接 sql server 数据库时报错：A connection was successfully established with the server, but then an error occurred during the login process. (provider: SSL ......
用友YonMaker生态定制平台
垃圾智能分类APP开发功能特点介绍： 1、选择回收工具:环卫工人可以通过照片以及尺寸来了解将要回收的物品情况,选择合适的回收工具。 2、定位导航:用户可以进行定位导航，环卫工人上门回收垃圾的时候就能轻易找到用户的家。 3、垃圾分类常识:为用户推送垃圾分类的常识，让用户了解哪些是可回收垃圾，哪些是不可 ......
冰雪旅游app开发-专业软件定制开发平台
冰雪旅游app开发需要哪些功能？ 1.酒店预订：用户通过简单搜索、筛选功能，就能够轻松找到所需，并且支持按照折扣、价格等进行排序。 2.实时天气预报：实时天气预报对于用户来说也是非常有必要的。实时天气预报可以帮助用户提前安排行程、航班预订、衣服准备等等。 3.车辆预订：用户通过APP可以提前预定车辆 ......
第一次结对作业——如何将mysql数据表里的数据导入到安卓SQLite数据库
在进行安卓地铁系统编写的过程中，我产生了一个疑问，怎么才能将mysql数据库里的数据导入到SQLite里面 于是我开始查找资料来解决这个问题，终于能够实现这个导入。 步骤如下： 1.进入idea，找到自己要导出的数据库，将数据库里的文件导出csv文件 2.打开Android Studio的地铁查询系 ......
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 ......
MySQL数据库三个关键性能指标TPS\QPS\IOPS
今天主要介绍MySQL数据库，或者说所有数据库的三个关键性能指标： qps 每秒处理的查询数 tps 每秒处理的事务数 IOPS 每秒磁盘进行的I/O操作次数 如果IOPS过高，分析原因： 内存不足，查询数据较多（一般为慢查询，但有时候并不是，单纯的查询数据较多），特别关注一下数据量大还需要排序的分 ......
银河麒麟4.0.2（飞腾平台） 安装MySQL数据库
1. 操作系统信息 root@Kylin:/# cat /etc/.kyinfo [dist] name=Kylin milestone=4.0.2-server-sp2-18071110.Z1 arch=arm64 beta=False time=2018-07-11 10:57:13 dist_ ......
Linux操作系统之locate命令详解：通过文件名称来查找文件（与find命令进行全局搜索不同，locate命令是读取数据文件（/var/lib/locatedb）进行查找；由于缩小了查找的范围，因此locate命令查找文件会比find命令速度快很多）
https://blog.csdn.net/yspg_217/article/details/122113017 https://www.cnblogs.com/liujiaxin2018/p/16211758.html http://www.hnwypx.com/zhishi/284406.htm ......
6-springboot配置多数据源
1.application.properties中配置多数据源 #refund数据源#此种标黄的没办法自己进行解析，代码读取spring.datasource.refunddb.url=jdbc:mysql://refund地址spring.datasource.refunddb.username= ......
7-springboot-多数据源事务管理-jta+atomikos的分布式事务
jta+atomikos的分布式事务 <!--jta+atomikos分布式事务--><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-jta-atomikos</arti ......
什么平台制作表单工具效率高？
目前，低代码开发平台在很多行业中得到了应用和推广。如果需要制作表单工具，还依然用传统的表单工具来制作表单，效率不仅得不到提升，而且办公自动化发展步伐也将缓慢发展。那么，借助什么样的平台可以让制作表单工具更高效？低代码开发平台可以了解一下，灵活性强、操作简便、就像搭积木般轻松自如地完成各种场景的表单制 ......
如何使用C# 对MongoDB数据库操作
一、在nuget 引入MongoDB.Bson，和MongoDB.Driver这个两个类库 二、对MongoDB数据库连接 string con = @"mongodb://127.0.0.1:27017"; var client = new MongoClient(con); //数据库 var ......
面试题：如何用数据库去实现一个乐观锁/悲观锁？（锁分类，死锁）
本文意在解析锁的概念，不只是解析题目，而是将锁弄清楚，知道大概的实现方案。 数据库锁的分类 数据库锁的分类有很多种。 分类1 从数据库系统角度分为三种：排他锁X、共享锁S、更新锁U。 排他锁（X锁）：该锁也称为独占锁，用于数据修改操作，例如 INSERT、UPDATE 或 DELETE。确保不会同时 ......
城市“一网统管”视频汇聚平台EasyCVR视频调阅模块新增“点击加载上次记录”
EasyCVR平台可以实现海量资源的接入、汇聚、计算、存储、处理等，平台具备轻量化接入能力，在城市安防监控、环保治理、道路交通、社区安防、餐饮监管、企业安全生产等场景中，充分发挥平台视频汇聚能力、数据共享能力、资源协同调度能力、AI视频智能分析等能力，感兴趣的用户可以前往演示平台进行体验或部署测试。 ......
DevOps实战笔记-DevOps平台设计和开发
DevOps实战笔记-DevOps平台设计和开发 1 简介 1.1 DevOps概述 最初是瀑布模型，后来是敏捷开发，现在是DevOps，这是现代开发人员构建出色的产品的技术路线。 DevOps早在 2009 年就已经被提出来了。 单纯从字面上来理解，DevOps 是Dev（开发人员）+Ops（运维 ......
使用OpenSearch 构建日志监控与管理平台
基于Windows 平台环境搭建： 步骤一：在OpenSearch官方网站下载Windows平台最新安装包，写作时当前最新版本是2.6.0, 也可直接通过以下链接直接下载： OpenSearch 下载： https://artifacts.opensearch.org/releases/bundle ......
备份和迁移数据
迁移方式介绍 容器中的数据，如果没有用挂载目录，删除容器后就会丢失数据。如果你是用bind mount直接把宿主机的目录挂进去容器，那迁移数据很方便，直接复制目录就好了如果你是用volume方式挂载的，由于数据是由容器创建和管理的，需要用特殊的方式把数据弄出来。 备份和导入 Volume 的流程 备 ......
Django创建数据时报错解决
报错内容： { "code": "500", "msg": { "is_delete": [ { "message": "这个字段是必填项。", "code": "required" } ] } } models.py from django.db import models class BaseM ......
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......