spark k8s on k8
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
k8s核心组件介绍
kubectl：命令行工具 kubeadm：创建集群的引导工具 kubelet：可以直接通过容器化的方式创建出之前的核心组件，Master节点通信，接收调度过来的Pod任务，确保Pod中的容器处于健康状态，并报告与监控节点资源相关的各种指标。 master节点通过api-server（ip网关）与各 ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
k8s安装
一、创建配置文件 cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesbaseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7- ......
Ubuntu 20.04版本安装k8s控制节点
一、环境配置 服务器配置：2核4G IP：192.168.10.23 主机名：master4将改主机加入此 集群 # 1.修改主机名 hostnamectl set-hostname master4 && bash # 2.添加hosts 127.0.1.1 master4 192.168.10.2 ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
2024-01-13 Can't perform a React state update on an unmounted component. This is a no-op, but it indicates a memory leak in your application. ==》引用了未使用的方法导致
react+antd业务代码报错： Can't perform a React state update on an unmounted component. This is a no-op, but it indicates a memory leak in your application. T ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION; ERROR 1410 (42000): You are not allowed to create a user with GRANT
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;ERROR 1410 (42000): You are not allowed to create a user with GRANT 解决办法 以下是 8.0版本的 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
k8s 将 cri 从 docker 切换到 containerd
master 节点执行 node=node01 kubectl drain $node --ignore-daemonsets --delete-emptydir-data node 节点执行 systemctl stop kubelet docker.socket docker.service c ......
redis报错MISCONF Errors writing to the AOF file: No space left on device，磁盘满无法写入数据报错
查询报错远程调用接口异常，F12查看网络和标投和预览到是mgr的接口此错误#根据报错提示：Error in execution; nested excepti on is io.lettuce.core.RedisCommandExecutionException: MISCONF Errors w ......
十分钟教你在 k8s 中部署一个前后端应用
转载至我的博客https://www.infrastack.cn ，公众号：架构成长指南 大家好，我是蜗牛哥，好多开发人员，尤其是没接触过 k8s 的人员对如何在k8s中部署一个 前后端应用很模糊，不知如何下手，所以本篇讲一下如何快速在 k8s 部署一个前后端应用，让大家对k8s有个快速认识 前置依 ......
Early lameness detection in dairy cattle based on wearable gait analysis using semi-supervised LSTM-Autoencoder
一区top Computers and Electronics in Agriculture 题目：“基于半监督 LSTM-自动编码器可穿戴步态分析的奶牛早期跛行检测” (Zhang 等, 2023, p. 1) (pdf) “Early lameness detection in dairy ca ......
Prometheus监控k8s集群节点主机内存/CPU使用率
CPU使用率： (1 - avg(rate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance)) *100 说明： container_cpu_usage_seconds_total 该容器服务针对每个CPU累计消耗的CPU时间。如果有多个 ......
基于正则化的图自编码器在推荐算法中的应用 Application of graph auto-encoders based on regularization in recommendation algorithms
引言 看过的每一篇文章，都是对自己的提高。不积跬步无以至千里，不积小流无以成江海，积少成多，做更好的自己。 本文基于2023年4月6日发表于SCIPEERJ COMPUTER SCIENCE（PEERJ计算机科学）上的一篇名为《基于正则化的图自编码器在推荐算法中的应用》（Application of ......
k8s 1.26.3 部署（containerd+centos 7.9）
一.系统环境初始化，所有节点都要做 服务器清单 10.12.121.190 k8s-01-master 10.12.121.191 k8s-01-node 根据实际更改初始化化hosts解析以及hostname，改完以后直接分别在master，node节点上执行执行 #配置服务器时间保持一致 yum ......
scp 出现 subsystem request failed on channel 0 scp: Connection closed 的解决方法
. . . . . 先说结论，给 scp 命令添加一个 -O （大写字母O，不是数字0）参数就可以了。 开启故事模式 最近在使用 Gerrit 下载代码的时候，发现出现这样的错误： >$ git clone "ssh://user@10.10.10.13:29418/project/manifest ......
k8s集群手动更换证书过程
第一步部分老的证书 1. 生成etcd证书，更换etcd证书，重启etcd服务。2. 替换/etc/calico的证书为etcd的证书重启calico-node服务。3. 更换calico的pod的证书为新生成的calico-node和calico-kube-controllers.4. 更换k8s ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 1
https://juejin.cn/post/7314144983019323433 如何使用 Helm 在 K8s 上集成 Prometheus 和 Grafana｜Part 1 2023-12-20 1,287 阅读5分钟 本系列将分成三个部分，您将学习如何使用 Helm 在 Kubernete ......
K8s 多集群实践思考和探索
https://www.cnblogs.com/vivotech/p/17684105.html 作者：vivo 互联网容器团队 - Zhang Rong 本文主要讲述了一些对于K8s多集群管理的思考，包括为什么需要多集群、多集群的优势以及现有的一些基于Kubernetes衍生出的多集群管理架构实践 ......
k8s卷管理-2
目录k8s卷管理-2pv和pvcpvpv的定义pvcpvc的定义pv和pvc的绑定关系手动指定pv与pvc绑定pod使用pvcpod挂载pvc访问模式的区别 k8s卷管理-2 之前已经介绍了本地存储和网络存储这两种类型，但是在生产环境中，这两种存储方式用的很少，而现在要介绍的存储方式才是使用率最高的 ......
解决前后端的跨域问题：Access to XMLHttpRequest at '**' from origin '**' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.
报错信息： Access to XMLHttpRequest at 'http://localhost:8182/cooperationRequest/getList' from origin 'http://localhost:3004' has been blocked by CORS poli ......
8.k8s之调动pod到指定节点
官方文档：将pod分配给节点题目：调度pod到指定节点 设置配置环境kubectl config use-context k8s 按如下要求创建并调度一个pod： - 名称：nginx-kusc00401 - image: nginx - Node selector: disk=ssd 解答： # ......
.net core - 使用kubeadm搭建k8s - k8s(微服务学习) 二
前提准备:OpenEuler系统，VMWare 由于本次使用3台主机完成kubernetes集群部署，其中1台为master节点,名称为k8s-master01;其中2台为node节点，名称分别为：k8s-node01及k8s-node02 master节点 # hostnamectl set-ho ......
5.k8s Service四层负载：服务端口暴露
题目一：暴露服务service 设置配置环境： [candidate@node-1] $ kubectl config use-context k8s Task 请重新配置现有的 deployment front-end 以及添加名为 http 的端口规范来公开现有容器 nginx 的端口 80/t ......
基于k8s Deployment的弹性扩缩容及滚动发布机制详解
k8s第一个重要设计思想：控制器模式。k8s里第一个控制器模式的完整实现：Deployment。它实现了k8s一大重要功能：Pod的“水平扩展/收缩”（horizontal scaling out/in）。该功能从PaaS时代开始就是一个平台级项目必备编排能力。 若你更新了Deployment的Po ......