pyspark环境redis es
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
Nocalhost 为 KubeSphere 提供更强大的云原生开发环境
1 应用商店安装 Nocalhost Server 已集成在 KubeSphere 应用商店，直接访问： 设置应用「名称」，确认应用「版本」和部署「位置」，点击「下一步」： 在「应用设置」标签页，可手动编辑清单文件或直接点击「安装」。建议把 service.type 设置为 ClusterIP，以确 ......
linux环境htop安装
1、获取htop源码包 git clone https://github.com/htop-dev/htop 2、安装依赖 yum install ncurses-devel gcc 3、解压源码包，编译安装 ./configure make -j 8 make install 源码安装方式 安装支 ......
redis 数据库
1 redis 单机数据库结构 1 redis server/client 结构 2 每个数据库都有一个包含所有数据的字典 2 过期时间 redis 每个库都会保存一个结构，里面包含了 每个键的过期时间的字典结构； redis 如何判断过期，首先检查给的键是否在过期字典中， 如果在，那就获取过期时间 ......
linux环境Python安装
1、下载源码 华为云镜像地址下载python Python加速地址：https://repo.huaweicloud.com/python/ 2、安装前置依赖 yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqli ......
分布式限流——基于Redis的Lua脚本限流实现
分布式限流 当你的应用分布式部署出现对等端（peer）时，单机的限流往往不能满足对下游保护的作用，因为它仅仅是jvm内存层面的流量控制。这个时候自然而然会想到用一些跨JVM的分布式中间件控制在单位时间窗口内的请求是否通行，本文我们将探讨如何借助Redis实现分布式限流。 1 固定窗口限流 前文已经介 ......
Redis 哨兵启动 以及 手动切换节点
服务启动 ./redis-server ../redis.conf 哨兵启动 ./redis-sentinel ../sentinel.conf查看当前服务是否是主节点（先登录到redis）INFO replication 要将从节点切换为主节点，您可以执行以下步骤： 首先，确保从节点已成功连接到主 ......
redis 浅谈3
1 redis数据结构简介 sds 链表 字典 跳跃表 整数集合 压缩列表 2 过期时间 redis 每个库都会保存一个结构，里面包含了 每个键的过期时间的字典结构； redis 如何判断过期，首先检查给的键是否在过期字典中， 如果在，那就获取过期时间，在检查当前Unix时间戳是否大于键的过期时间 ......
Linux 部署redis集群（三主三从）
1、由于redis是C语言编写的，安装之前需要保证有gcc的环境配置 首先使用命令，查看gcc版本，若已经存在则跳过gcc的安装：gcc -v 若不存在gcc，则使用命令安装gcc：yum install gcc-c++ 2、下载redis源文件 mkdir /usr/local/redis cd ......
Redis持久化之RDB和AOF
Redis是基于内存的，内存中的信息断电丢失，有时需要持久化来解决这个弊端。 在之前的文章中Shiro中使用Redis管理session - 东方来客 - 博客园 (cnblogs.com)使用了Redis管理Shiro的session。 想要配置Redis持久化不是 在Maven项目中，而是 要通 ......
ES--RestClient查询文档
文档的查询同样适用昨天学习的 RestHighLevelClient对象，基本步骤包括： 1）准备Request对象 2）准备请求参数 3）发起请求 4）解析响应 1.快速入门 我们以match_all查询为例 1.发起查询请求 代码解读： 第一步，创建SearchRequest对象，指定索引库名 ......
visual studio编译不再支持的framework环境
下载好需要的framework版本，解压出来放到下面路径中，然后重新打开vs即可。 C:\Program Files (x86)\Reference Assemblies\Microsoft\Framework\.NETFramework ......
1.12_redis 的存取在最后 晚上_浙江本地环境的header不能用线上的_header中host和refer分别代表什么意思?_模型的save()参数是数组怎么理解?
方便点1： 问题: 为什么这个浙江的这个线上的header用到本地就不行,而熊师爷的这个却可以? 线上的 header中的host 本地的 header中的host 根据上面弄得对照关系 header中host和refer分别代表什么意思? 活1: 分析如下： 上面分析出现的问题：既然只统计：开业状 ......
python创建虚拟环境
1.创建项目目录 2.进入当前目录,cmd,安装虚拟环境 virtualenv -p "C:\Program Files\Python311\python.exe" .venv #目录加引号后空格.python所在目录 3. 进入VSCODE，打开目录，选择venv\scripy\python.ex ......
PySpark类库
PySpark 是Spark官方提供的一个Python类库, 内置了完全的Spark API, 可以通过PySpark类库来编写Spark应用程序, 并将其提交到Spark集群中运行. 下图是,PySpark类库和标准Spark框架的简单对比 ......
redis报错MISCONF Errors writing to the AOF file: No space left on device，磁盘满无法写入数据报错
查询报错远程调用接口异常，F12查看网络和标投和预览到是mgr的接口此错误#根据报错提示：Error in execution; nested excepti on is io.lettuce.core.RedisCommandExecutionException: MISCONF Errors w ......
centos8配置网络环境及阿里云网络yum源
一、centos8配置网络环境 1.修改配置网卡配置文件 [root@localhost ~]# cat /etc/sysconfig/network-scripts/ifcfg-ens18 TYPE=Ethernet NAME=ens18 DEVICE=ens18 IPADDR=192.168.1 ......
提升Windows Server环境安全性：ADAudit Plus的五大关键优势
在Windows Server环境中，审计对于解决安全、运营和合规需求至关重要。然而，内置的Microsoft Windows安全审计工具存在一些限制，包括对专业知识的要求、耗时的流程以及一些功能的缺失。为了克服这些问题，第三方审计解决方案如ManageEngine ADAudit Plus变得至关 ......
VSCode配置C开发环境
安装MINGW64编译器 mingw64是windows上的一款C编译器，可在线安装或者离线安装，推荐离线安装 1. 离线安装 github: 链接地址 (1) 点击github链接，下载所需版本的mingw压缩包 (2) 解压到随意一个路径，最好不要有中文路径 (3) 配置环境变量，右键此电脑，点 ......
php环境，性能优化
根据宝塔的推荐进行参数修改 我的是8G内存，修改成4G内存 下面是备份：修改前的 ; Start a new pool named 'www'.; the variable $pool can be used in any directive and will be replaced by the; ......
linux环境下配置maven
下载地址 #maven环境配置(已经配置好jdk) vim /etc/profile export MAVEN_HOME=/mnt/maven/apache-maven-3.6.3 export PATH=${MAVEN_HOME}/bin:${PATH} #使配置生效 source /etc/pr ......
Redis - JSON human-friendly format
127.0.0.1:6379> JSON.SET obj $ '{"name":"Leonard Cohen", "lastSeen":1478476800,"loggedOut": true}' OK zzh@ZZHPC:~$ docker exec -it redis-stack-server ......
TiDB 在单机上模拟部署生产环境集群
参考地址：https://docs.pingcap.com/zh/tidb/dev/quick-start-with-tidb 前提条件 硬件要求 开始部署 TiDB 集群前，准备一台部署主机，确保其软件满足需求： 推荐安装 CentOS 7.3 及以上版本 运行环境可以支持互联网访问，用于下载 T ......
react-native在windows环境搭建并使用脚手架新建工程
截止到2024-1-11，使用的主要软件的版本如下： 软件实体 版本 react-native 0.73.1 react 18.2.0 react-native-cli 2.0.1 Android Studio 2022.3.1 Patch3 Android SDK Android SDK Plat ......
ES--高亮
高亮的语法： GET /hotel/_search{ "query": { "match": { "FIELD": "TEXT" // 查询条件，高亮一定要使用全文检索查询 } }, "highlight": { "fields": { // 指定要高亮的字段 "FIELD": { "pre_tag ......
ES--分页
基本的分页 分页的基本语法如下： GET /hotel/_search{ "query": { "match_all": {} }, "from": 0, // 分页开始的位置，默认为0 "size": 10, // 期望获取的文档总数 "sort": [ {"price": "asc"} ]} ......
ES--排序
普通字段排序 keyword、数值、日期类型排序的语法基本一致。 语法： GET /indexName/_search{ "query": { "match_all": {} }, "sort": [ { "FIELD": "desc" // 排序字段、排序方式ASC、DESC } ]} 排序条件是 ......
redis
ValueOperations<String, String> valueOps = redisTemplate.opsForValue(); valueOps.set("key", "value"); 获取字符串值： javaCopy Code String value = valueOps.ge ......
Redis - (error) WRONGTYPE Operation against a key holding the wrong kind of value
zzh@ZZHPC:~$ docker exec -it redis redis-cli 127.0.0.1:6379> SET bike:1 "Process 134" OK 127.0.0.1:6379> GET bike:1 "Process 134" 127.0.0.1:6379> HSET ......