架构 角色spark
API架构风格
浅谈6种流行的API架构风格 前言 API在现代软件开发中扮演着重要的角色，它们是不同应用程序之间的桥梁。编写业务API是日常开发工作中最常见的一部分，选择合适的API框架对项目的成功起到了至关重要的作用。本篇文章将浅谈一下当前6种流行的API架构风格的优点、缺点以及适用场景。 6种流行的API架构 ......
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
Windows 10 中，可以使用 PowerShell 添加打印和文件服务的角色功能组件，包括 Internet 打印客户端、LPD 打印服务和 LPR 端口监视器 PowerShell 添加打印机并创建新的 LPR 端口。以下是添加打印机和创建新端口的 PowerShell 命令在 Windows 10 中，可以使用 PowerShell 添加 LPR 兼容打印机。
在 Windows 10 中，可以使用 PowerShell 添加打印和文件服务的角色功能组件，包括 Internet 打印客户端、LPD 打印服务和 LPR 端口监视器。以下是添加这些功能组件的 PowerShell 命令： 首先，以管理员身份打开 PowerShell 终端。在开始菜单中搜索 " ......
银行业数据架构的前世今生
分享大纲： 1. 银行信息系统架构 2. 数据架构的主要内容 3. 数据架构的未来 银行信息系统架构 （一）银行信息化发展历程 银行信息化发展历程包括四个阶段：20世纪70年代的信息孤岛阶段、20世纪80-90年代的互联互通阶段、20世纪90年代至2012年的信息化阶段、2012年至今的数字化阶段。 ......
浅谈6种流行的API架构风格
前言 API在现代软件开发中扮演着重要的角色，它们是不同应用程序之间的桥梁。编写业务API是日常开发工作中最常见的一部分，选择合适的API框架对项目的成功起到了至关重要的作用。本篇文章将浅谈一下当前6种流行的API架构风格的优点、缺点以及适用场景。 6种流行的API架构风格图 SOAP SOAP全拼 ......
Spring Boot和 Spring Cloud的区别；单体架构与微服务架构的区别以及优缺点
Spring Boot 简介 Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(r ......
软件架构实践 V2：第二章
第二章 什么是软件架构 如果一个项目的系统构架 (包括理论基础) 尚未确定，就不应该进行此系统的全面开发。只有对构架做出明确清楚的表述，才能使之在整个开发和维护过程中加以充分利用。 ——Barry Boehm 本章我们将严格地从软件工程的角度对构架进行讨论，即除了第1章中所讲到的企业所获得的价值外， ......
BS 架构 和 CS 架构
软件开发架构 【1】C / S 架构 C/S是美国Borland公司最早研发 C ：client (客户端) S : server (服务端) 【2】B / S 架构 B/S是美国微软公司研发。 B ：browser (网页端) S ： Server (服务端) 【3】C/S与B/S区别 Clien ......
解析x86与x64：架构之争、性能较量与未来趋势
在计算机体系结构领域，x86和x64是两种备受关注的架构，它们在硬件设计、内存寻址、性能表现等方面有着显著的差异。本文将深入探讨x86和x64的详细区别以及各自的优点，帮助读者更全面地理解这两种计算机体系结构。 架构概述 x86 x86架构最初设计用于Intel的16位微处理器，后来扩展到32位。它 ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
mac M2 arm 架构模拟器运行 x86 apk
设置当前的架构 arch -x86_64 zsh 安装apk adb install app-release.apk 打开应用 adb shell am start -n com.td.flutter_tv/.MainActivity ......
10.Sidecar代理：日志架构
官方文档：https://kubernetes.io/zh-cn/docs/concepts/cluster-administration/logging/ 题目：Sidecar代理 设置配置环境kubectl config use-context k8s 将一个现有的 Pod 集成到 Kubern ......
Spark - spark on yarn 的作业提交流程
客户端（Client）通过YARN的ResourceManager提交应用程序。在此过程中，客户端进行权限验证，生成Job ID和资源上传路径，并将这些信息返回给客户端。 客户端将jar包、配置文件、第三方包等文件上传到指定的HDFS路径。完成后，客户端再次向ResourceManager提交作业执 ......
Spark - 面试题
Spark是什么？答案：Apache Spark是一个快速、通用的大数据处理引擎，它提供了大规模数据集的内存计算和分布式计算能力。Spark可以处理各种数据源，如HDFS、Hive、Cassandra等，并提供了丰富的API和工具集，用于批处理、流处理、机器学习、图处理等多种计算场景。 Spark的 ......
大龄码农的业余作品：升讯威在线客服系统：系统架构设计
本系列文章详细介绍使用 .net core 和 WPF 开发 升讯威在线客服与营销系统 的过程。本产品已经成熟稳定并投入商用，并提供了多国语言版本，服务了一些海外客户。本篇主要介绍系统的技术架构，从较高的抽象层次上解释我是怎样设计实现这样一套系统的。 ......
CS架构与BS架构
【一】引入 C/S和B/S都是互联网中常见的网络结构模型。 【一】什么是C/S模型 C是英文单词“Client”的首字母，即客户端的意思 C/S就是“Client/Server”的缩写，即“客户端/服务器”模式。 例如：拼多多APP、PC上的有道云笔记等等 【二】什么是B/S模型 B是英文单词“Br ......
Android架构测试 套小记
Android架构测试主要是为了确保Android应用程序在不同设备和系统版本上的兼容性、性能和稳定性。这需要对应用程序的各个组件进行测试，包括活动、服务、广播接收器、内容提供程序等。以下是进行Android架构测试时可以采取的一些步骤： 单元测试：对应用程序的各个组件进行测试，确保它们能够正常工作 ......
02-高屋建瓴：Kubernete 的架构为什么是这样的？
通过上一课时的学习，我们已经对 Kubernetes 的前世今生有所了解。接下来，我们开始具体学习如何将 Kubernetes 应用到自己的项目中，首先就需要了解 Kubernetes 的架构。所以，在本节课程中，我们会一起学习 Kubernetes 的架构设计，以及背后的设计哲学。 Google ......
spark的学习1-11
大数据第36期打卡-Day9-p102-p106学习笔记Spark并行度spark的并行：在同一时间内，有多少个tes k在同时运行并行度：并行能力的设置比如设置并行度6，其实是6个tast才并行在跑在有了6个tast并行的前提下，rdd的分区被规划成6个分区Driver的两个组件DAG调度器工作内 ......
PowerDotNet平台化软件架构设计与实现系列（17）：PCRM个人用户管理平台
个人用户管理是业务系统中非常基础且重要的一个公共服务系统，我们写的绝大多数应用都和个人用户或会员有关，用户(会员)数据安全无小事，必须有一个完备的用户管理平台系统。 因为不同公司的主业务不同，个人用户管理的侧重点也会有不同，PowerDotNet这里介绍的个人用户管理平台，只是个人用户管理系统中很基 ......
基于先进云计算技术的云会议架构平台，实现音视频及数据共享
主要功能 音视频及数据共享 支持Man、PC、iPad和Phone在共享屏幕上进行标注 支持画线、矩形、椭圆、荧光笔 等各种工具协作标 最高支持1080P高清画质 录制与存储 本地和云端存储 视频及音频独立文件存储 支持电子交互白板及文件共享 支持会议的录制存储 会议管理 即时邀请：邮件、短信、微信 ......
vivo 海量微服务架构最新实践
vivo微服务平台为全球5亿+用户背后的全网十万级机器、万级微服务提供服务，在高效实践过程中，vivo中间件平台团队输出了一套业务适用的微服务架构最佳实践--架构能力矩阵、高效的开源中间件组件全生命周期管理策略，走出了一条从开源到开源+自研的技术演进路径，通过微服务引擎升级和统一平台建设较好解决了面... ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
系统架构设计师-第1章计算机组成与体系结构
第1章计算机组成与体系结构 1. 计算机系统组成 计算机系统是一个硬件和软件的综合体，可以把它看成按功能划分的多级层次结构。 系统软件支持应用软件的运行，为用户开发应用软件提供平台，用户可以使用它，但不能随意修改它。常用的系统软件有操作系统、语言处理程序、连接程序、诊断程序和数据库管理系统等。 1. ......