数据库 数据docker redis
语音数据增强
1. Specaugment https://ai.googleblog.com/2019/04/specaugment-new-data-augmentation.html 这是一篇来自google的工作，主要通过在时域和频域进行掩盖来进行数据增强； 自己写的可视化代码，使用torchlibros ......
【Sql Server】实现数据库定时自动备份详细一步步操作（图文）
https://blog.51cto.com/u_15654527/5736711 http://www.taodudu.cc/news/show-5345289.html 一、新建数据库（如：数据库定时备份） 二、新建存储过程，代码如下，注意3个地方需要改数据库名称 USE [数据库定时备份]GO ......
【fastadmin】如何导入excel表格数据
需求 我想在fastadmin批量导入excel表格的数据 实现 第一步 在需要添加index.html中添加一个导入的代码 {:build_toolbar('refresh,add,delete,import')} 第二步 在对应的js文件中添加如下代码 import_url: 'data/imp ......
通过 docker-compose 快速部署 Hive 详细教程
一、概述 其实通过 docker-compose 部署 hive 是在继上篇文章 Hadoop 部署的基础之上叠加的，Hive 做为最常用的数仓服务，所以是有必要进行集成的，感兴趣的小伙伴请认真阅读我以下内容，通过 docker-compose 部署的服务主要是用最少的资源和时间成本快速部署服务，方 ......
AWS 中的数据湖
AWS 中的数据湖 动手实践 – Glue、Athena、S3、ETL、Spark、Parquet、QuickSight、Kinesis、Lambda、Comprehend AI 课程英文名：Data Lake in AWS 此视频教程共1.12GB，中英双语字幕，画质清晰无水印，源码附件全 课程地 ......
数据压缩、博弈与数据压缩，Kolmogorov复杂度
Kraft不等式 McMillan不等式 数据压缩的熵界 香农码 赫夫曼码 错误码 随机过程 平稳过程 竞争最优性 随机变量的生成 双倍率 最优双倍率 按比例投注是对数最优的 增长率 守恒定律 边信息 ......
Python基础(五)图标和数据处理
机器学习里面有很多场景需要图标展示，这简单介绍一下一个图表库 图表库 # #折线图import matplotlib.pyplot as pltimport numpy as npplt.figure(figsize=(4,4)) #设置画布大小plt.title("i am title") ##标 ......
mysql 两百万数据 深分页性能优化
-- ddlCREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `user_no` varchar(50) DEFAULT '' COMMENT '学号', `user_name` varchar(5 ......
Redis内存容量评估
业务侧申请redis服务器资源时，需要事先对redis容量做一个大致评估，之前的容量评估公式基本只是简单的 （key长度 value长度）* key个数，误差较大，后期经常需要进行缩扩容调整，因此提出一个较精确的redis容量评估模型就显得很有必要。 先来查看一个命令： info memory us ......
MongoDB 与 Redis 的比较
MongoDB 和 Redis 都是流行的 NoSQL 数据库系统，但它们的应用场景和特点不同，主要体现在以下几个方面： 1.数据类型：MongoDB 是面向文档的数据库系统，支持复杂的数据类型，如嵌套文档、数组等；Redis 则是一个基于内存的键值数据库系统，支持字符串、哈希表、列表、集合等简单数 ......
总结一下AEP渐进均分性和数据压缩的关系
渐进均分性AEP是和大数定律类似的概念，是弱大数定律的结果。而弱大数定律是指实验的重复次数不断增大时，某件事发生的频率越来越稳定，趋向于这件事发生的概率。 AEP的定义： 如果$X_1, X_2, …, X_n$是独立同分布（i.i.d.）序列，且服从$p(x)$，则有$-\frac{1}{n}lo ......
ZooKeeper数据和集群特点，ZAB协议和选主过程解析
前言 本文讲述 ZooKeeper 集群架构特点、数据结构、事务ID、选主和ZAB协议具体执行过程。 服务保证 ZooKeeper 非常快速且非常简单。由于它的目标是构建更复杂的服务（如同步）的基础，因此它提供了一组保证： 【顺序一致性】来自客户端的更新将按发送顺序执行，因为只有唯一的主节点负责写请 ......
Docker 查看Image镜像的Dockerfile方法
Dokcer中使用的Image镜像可能别人写好，我们下载来直接使用，但有些情况可能不能满足我们的需求，那就需要修改镜像，一般可以通过在容器中修改，之后在生成镜像，但有时则需要通过写Dockerfile来重新生成。本文主要介绍Docker中查看Image镜像的Dockerfile的方法。 原文地址：D ......
Redis 在消息队列中的应用
1.Redis 的 List 数据类型 1.1 List 数据类型的特点 List 列表是 Redis 提供的一种重要的数据类型。它是由若干个字符串元素组成的集合，并且每个字符串元素都是按照插入顺序排序的。也可以将列表理解为多个字符串组成的一个集合对象，并按照链表（Link List）的插入顺序排序 ......
redis主从同步、哨兵自动故障迁移具体过程解析
前言 本问阐述 Redis 主从同步、哨兵监控和故障迁移的过程，并通过各个服务日志加以验证。 准备工作 主从和哨兵安装见 安装过程。 为了方便通过日志观察同步过程，你可以在每个 Redis 和 Sentinel 配置文件中修改下面参数，实现前台运行并将日志输出到控制台。 # 这两个配置是为了实现前台 ......
RedisTemplate Pipeline 封装和使用，优化Redis操作
前言 公司游戏项目服务端运行过程中，依赖 Redis 保存游戏过程数据。与客户端一次交互会对 Redis 进行大量的操作，在内网开发环境下测试，一次操作开销在 1-2 ms，建立连接和网络开销累积在一起大大降低了响应速度，这种场景下可以使用 Redis Pipeline 进行优化。 Redis Pi ......
Docker 容器：数据持久化
Docker 容器：数据持久化 每当从镜像创建容器时，它都会创建一个新容器，除了镜像数据之外没有任何数据 意味着如果在提交更改之前删除容器，我们将丢失数据 Docker 应该存在一种将数据的文件系统与容器的文件系统分开的技术 每当创建容器时，也会创建一个文件系统【这是默认的 Linux 文件系统】 ......
Redis各种数据分片方式应用场景以及优缺点
前言 数据分片是指将数据按某种方式存储到不同的服务上来解决单机服务容量不足的问题。 本文围绕 Redis 讲述逻辑拆分、随机分配、哈希取模、一致性哈希等分片算法原理和使用场景。并在此基础上对比客户端分片、代理(Proxy) 和 Redis Cluster 各自的优缺点。 客户端分片 三种普通方式 逻 ......
Redis 在排行榜中的应用
1.Redis 的 Sorted Set 数据类型 1.1 Sorted Set 数据类型的特点 Sorted Set 有序集合是 Redis 提供的一种重要的数据类型。它是由不重复且有序的字符串元素组成的，而且每个元素都会关联一个 double 类型的分数，通过该分数来为集合中的成员进行从小到大的 ......
Redis持久化RDB和AOF原理解析、使用和优缺点对比
前言 本文讲述 Redis 两种持久化方式 RDB 和 AOF 优缺点以及原理。 为何需要持久化？ Redis 是基于内存操作的，进程终止、服务器宕机后内存数据会丢失，但是在很多使用场景中我们希望数据不丢失，服务重启之后数据还能恢复到停机前的状态，特别是使用 Redis 做数据库的情况。 Redis ......
Redis布隆过滤器的原理和安装使用
前言 本文讲述布隆过滤器 (RedisBloom) 的基本原理和安装使用。 RedisBloom是什么？ RedisBloom 是 Redis 中过滤器模块，可以用来判断值是否存在，常用来解决缓存穿透问题。 查询数据时，先用 RedisBloom 判断数据是否存在，不存在则直接返回，存在则从缓存 / ......
docker与k8s的区别
docker：开源的应用容器引擎，允许开发人员将其应用和依赖打包成可移植的镜像，然后发布到任何流行的linux或windows机器上，也能实现虚拟化。 kubernetes：谷歌开发的容器集群管理系统。在docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功 ......
nexus5获取csi数据
记录一下在阅读WiFi感知系列文章中对csi（信道状态信息）的获取过程 收集设备：nexus5 安卓版本6.0.1 版本号M4B302 root过 系统：虚拟机Ubuntu18.0.4 发送设备：小米路由器4C(R4CM){准备用别的路由器再测测，这2.4g的路由器收到的数据很怪} 首先sudo s ......
（数据科学学习手札151）速通pandas2.0新版本干货内容
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，前两天pandas正式发布了其2.0.0版本，作为一次大版本更新，pandas针对底层进行了大量的重构以优化性能和稳定性，其有关这 ......
【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮（TimingWheel）实现延时队列的开发实战落地（上）
承接上文 承接之前的【精华推荐 |【算法数据结构专题】「延时队列算法」史上非常详细分析和介绍如何通过时间轮（TimingWheel）实现延时队列的原理指南】，让我们基本上已经知道了「时间轮算法」原理和核心算法机制，接下来我们需要面向于实战开发以及落地角度进行分析如何实现时间轮的算法机制体系。 前言回 ......
Docker制作一个镜像完整过程
前言 以制作CentOS镜像为例，讲述对镜像自定义，打包以及推送的远程仓库的过程，步骤都比较简单可以快速上手。 创建步骤 创建CentOS基础镜像 创建构建目录和Dockerfile，在Dockerfile中编辑镜像相关设置，参考菜鸟教程 - Dockerfile。 echo "在当前用户目录下创建 ......
Redis 在身份认证中的应用
1.Redis 在 Session 共享问题中的应用 传统 Session-Cookeis 身份认证方法中，一个 Session 只保存在一台服务器上，适合域单体应用。随着项目规模的增加，项目的架构也不断向微服务分布式集群演进，传统的 Session-Cookie 方式在集群环境下就不能很好的工作了 ......
2021-12-30-Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库
layout: post cid: 5 title: Docker启动MySQL、MongoDB、Redis、Elasticsearch、Grafana，数据库 slug: 5 date: 2021/12/30 16:57:00 updated: 2022/03/25 15:53:08 status ......