架构spark yarn on
API架构风格
浅谈6种流行的API架构风格 前言 API在现代软件开发中扮演着重要的角色，它们是不同应用程序之间的桥梁。编写业务API是日常开发工作中最常见的一部分，选择合适的API框架对项目的成功起到了至关重要的作用。本篇文章将浅谈一下当前6种流行的API架构风格的优点、缺点以及适用场景。 6种流行的API架构 ......
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
2024-01-13 Can't perform a React state update on an unmounted component. This is a no-op, but it indicates a memory leak in your application. ==》引用了未使用的方法导致
react+antd业务代码报错： Can't perform a React state update on an unmounted component. This is a no-op, but it indicates a memory leak in your application. T ......
银行业数据架构的前世今生
分享大纲： 1. 银行信息系统架构 2. 数据架构的主要内容 3. 数据架构的未来 银行信息系统架构 （一）银行信息化发展历程 银行信息化发展历程包括四个阶段：20世纪70年代的信息孤岛阶段、20世纪80-90年代的互联互通阶段、20世纪90年代至2012年的信息化阶段、2012年至今的数字化阶段。 ......
浅谈6种流行的API架构风格
前言 API在现代软件开发中扮演着重要的角色，它们是不同应用程序之间的桥梁。编写业务API是日常开发工作中最常见的一部分，选择合适的API框架对项目的成功起到了至关重要的作用。本篇文章将浅谈一下当前6种流行的API架构风格的优点、缺点以及适用场景。 6种流行的API架构风格图 SOAP SOAP全拼 ......
Spring Boot和 Spring Cloud的区别；单体架构与微服务架构的区别以及优缺点
Spring Boot 简介 Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(r ......
软件架构实践 V2：第二章
第二章 什么是软件架构 如果一个项目的系统构架 (包括理论基础) 尚未确定，就不应该进行此系统的全面开发。只有对构架做出明确清楚的表述，才能使之在整个开发和维护过程中加以充分利用。 ——Barry Boehm 本章我们将严格地从软件工程的角度对构架进行讨论，即除了第1章中所讲到的企业所获得的价值外， ......
BS 架构 和 CS 架构
软件开发架构 【1】C / S 架构 C/S是美国Borland公司最早研发 C ：client (客户端) S : server (服务端) 【2】B / S 架构 B/S是美国微软公司研发。 B ：browser (网页端) S ： Server (服务端) 【3】C/S与B/S区别 Clien ......
解析x86与x64：架构之争、性能较量与未来趋势
在计算机体系结构领域，x86和x64是两种备受关注的架构，它们在硬件设计、内存寻址、性能表现等方面有着显著的差异。本文将深入探讨x86和x64的详细区别以及各自的优点，帮助读者更全面地理解这两种计算机体系结构。 架构概述 x86 x86架构最初设计用于Intel的16位微处理器，后来扩展到32位。它 ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION; ERROR 1410 (42000): You are not allowed to create a user with GRANT
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;ERROR 1410 (42000): You are not allowed to create a user with GRANT 解决办法 以下是 8.0版本的 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
redis报错MISCONF Errors writing to the AOF file: No space left on device，磁盘满无法写入数据报错
查询报错远程调用接口异常，F12查看网络和标投和预览到是mgr的接口此错误#根据报错提示：Error in execution; nested excepti on is io.lettuce.core.RedisCommandExecutionException: MISCONF Errors w ......
Early lameness detection in dairy cattle based on wearable gait analysis using semi-supervised LSTM-Autoencoder
一区top Computers and Electronics in Agriculture 题目：“基于半监督 LSTM-自动编码器可穿戴步态分析的奶牛早期跛行检测” (Zhang 等, 2023, p. 1) (pdf) “Early lameness detection in dairy ca ......
mac M2 arm 架构模拟器运行 x86 apk
设置当前的架构 arch -x86_64 zsh 安装apk adb install app-release.apk 打开应用 adb shell am start -n com.td.flutter_tv/.MainActivity ......
10.Sidecar代理：日志架构
官方文档：https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/logging/ 题目：Sidecar代理 设置配置环境kubectl config use-context k8s 将一个现有的 Pod 集成到 Kubern ......
Hadoop YARN ResourceManager 未授权访问
Hadoop YARN ResourceManager 未授权访问 原理 Hadoop是一款由Apache基金会推出的分布式系统框架，它通过著名的MapReduce算法进行分布式处理，Yarn是Hadoop集群的资源管理系统。yarn提供有默认开放在8088和8090的REST API（默认前者）允 ......
基于正则化的图自编码器在推荐算法中的应用 Application of graph auto-encoders based on regularization in recommendation algorithms
引言 看过的每一篇文章，都是对自己的提高。不积跬步无以至千里，不积小流无以成江海，积少成多，做更好的自己。 本文基于2023年4月6日发表于SCIPEERJ COMPUTER SCIENCE（PEERJ计算机科学）上的一篇名为《基于正则化的图自编码器在推荐算法中的应用》（Application of ......
scp 出现 subsystem request failed on channel 0 scp: Connection closed 的解决方法
. . . . . 先说结论，给 scp 命令添加一个 -O （大写字母O，不是数字0）参数就可以了。 开启故事模式 最近在使用 Gerrit 下载代码的时候，发现出现这样的错误： >$ git clone "ssh://user@10.10.10.13:29418/project/manifest ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
大龄码农的业余作品：升讯威在线客服系统：系统架构设计
本系列文章详细介绍使用 .net core 和 WPF 开发 升讯威在线客服与营销系统 的过程。本产品已经成熟稳定并投入商用，并提供了多国语言版本，服务了一些海外客户。本篇主要介绍系统的技术架构，从较高的抽象层次上解释我是怎样设计实现这样一套系统的。 ......
解决前后端的跨域问题：Access to XMLHttpRequest at '**' from origin '**' has been blocked by CORS policy: No 'Access-Control-Allow-Origin' header is present on the requested resource.
报错信息： Access to XMLHttpRequest at 'http://localhost:8182/cooperationRequest/getList' from origin 'http://localhost:3004' has been blocked by CORS poli ......
CS架构与BS架构
【一】引入 C/S和B/S都是互联网中常见的网络结构模型。 【一】什么是C/S模型 C是英文单词“Client”的首字母，即客户端的意思 C/S就是“Client/Server”的缩写，即“客户端/服务器”模式。 例如：拼多多APP、PC上的有道云笔记等等 【二】什么是B/S模型 B是英文单词“Br ......
Android架构测试 套小记
Android架构测试主要是为了确保Android应用程序在不同设备和系统版本上的兼容性、性能和稳定性。这需要对应用程序的各个组件进行测试，包括活动、服务、广播接收器、内容提供程序等。以下是进行Android架构测试时可以采取的一些步骤： 单元测试：对应用程序的各个组件进行测试，确保它们能够正常工作 ......
02-高屋建瓴：Kubernete 的架构为什么是这样的？
通过上一课时的学习，我们已经对 Kubernetes 的前世今生有所了解。接下来，我们开始具体学习如何将 Kubernetes 应用到自己的项目中，首先就需要了解 Kubernetes 的架构。所以，在本节课程中，我们会一起学习 Kubernetes 的架构设计，以及背后的设计哲学。 Google ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......