架构spark yarn on
No 'Access-Control-Allow-Origin' header is present on the requested resource'， 跨域访问的解决方法
https://blog.csdn.net/dear_little_bear/article/details/83999391 1. 当请求不在同一域名下的资源文件（ip地址+端口号）时，会报如下错误：“No ‘Access-Control-Allow-Origin’ header is prese ......
PowerDotNet平台化软件架构设计与实现系列（17）：PCRM个人用户管理平台
个人用户管理是业务系统中非常基础且重要的一个公共服务系统，我们写的绝大多数应用都和个人用户或会员有关，用户(会员)数据安全无小事，必须有一个完备的用户管理平台系统。 因为不同公司的主业务不同，个人用户管理的侧重点也会有不同，PowerDotNet这里介绍的个人用户管理平台，只是个人用户管理系统中很基 ......
基于先进云计算技术的云会议架构平台，实现音视频及数据共享
主要功能 音视频及数据共享 支持Man、PC、iPad和Phone在共享屏幕上进行标注 支持画线、矩形、椭圆、荧光笔 等各种工具协作标 最高支持1080P高清画质 录制与存储 本地和云端存储 视频及音频独立文件存储 支持电子交互白板及文件共享 支持会议的录制存储 会议管理 即时邀请：邮件、短信、微信 ......
vivo 海量微服务架构最新实践
vivo微服务平台为全球5亿+用户背后的全网十万级机器、万级微服务提供服务，在高效实践过程中，vivo中间件平台团队输出了一套业务适用的微服务架构最佳实践--架构能力矩阵、高效的开源中间件组件全生命周期管理策略，走出了一条从开源到开源+自研的技术演进路径，通过微服务引擎升级和统一平台建设较好解决了面... ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
今天了解了spark。
Apache Spark（通常简称为Spark）是一个开源的、分布式计算系统，用于大规模数据处理和分析。它提供了高效、通用、可扩展的数据处理框架，支持多种编程语言，包括Scala、Java、Python和R。Spark最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, ......
On Java 中文版 基础卷 PDF
本书是布鲁斯 • 埃克尔时隔 15 年，继 Thinking in Java 之后又一力作，基于 Java 的 3 个长期支持版（Java 8、11、17），讲解 Java 核心语法，并对 Java 的核心变化进行详述。全书内容通俗易懂，配合示例讲解逐步深入，并结合实际开发需要，从语言底层设计出发， ......
系统架构设计师-第1章计算机组成与体系结构
第1章计算机组成与体系结构 1. 计算机系统组成 计算机系统是一个硬件和软件的综合体，可以把它看成按功能划分的多级层次结构。 系统软件支持应用软件的运行，为用户开发应用软件提供平台，用户可以使用它，但不能随意修改它。常用的系统软件有操作系统、语言处理程序、连接程序、诊断程序和数据库管理系统等。 1. ......
spark学习
Spark提供了6大组件： Spark Core：Spark Core 是 Spark 的基础，它提供了内存计算的能力，是分布式处理大数据集的基础。它将分布式数据抽象为弹性分布式数据集（RDD），并为运行在其上的上层组件提供 API。所有 Spark 的上层组件都建立在 Spark Core 的基础 ......
freeswitch on centos docker
概述 freeswitch是一款简单好用的VOIP开源软交换平台。 centos7 docker上编译安装fs的流程记录。 环境 docker engine：Version 24.0.6 centos docker：7 freeswitch：v1.6.19 centos准备 docker hub拉取 ......
系统架构设计师-第2章-操作系统
第2章-操作系统 2.1. 操作系统的类型与结构 计算机系统由硬件和软件两部分组成。操作系统是计算机系统中最基本的系统软件，它 既管理计算机系统的软、硬件资源，又控制程序的执行。操作系统随着计算机研究和应用的 发展逐步形成并日趋成熟，它为用户使用计算机提供了一个良好的环境，从而使用户能充分 利用计算 ......
Spark 框架模块和Spark的运行模式 -
整个Spark 框架模块包含：Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上 Spark Core：Spark的核心，Spark核心功能均由Spark Core模块提供，是Spa ......
Spark四大特点
Apache Spark是一个开源的分布式计算框架，拥有四大显著特点： 1. **速度快**：Spark基于内存的运算效率要快100倍以上，基于硬盘的运算效率也要快10倍以上。其先进的DAG调度程序、查询优化程序和物理执行引擎，使得Spark能高效处理数据流。 2. **易用性**：Spark支持J ......
Spark开始
定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 简而言之，Spark 借鉴了 MapReduce 思想发展而来，保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提 高了运行速度、并提供丰富的操作数据的A ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
"mysql : 无法将“mysql”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写，如果包括路径，请确保路径正确，然后再试一次。"错误以及"Can't connect to MySQL server on 'localhost' (10061) after Installation"错误解决办法
在mysql的安装路径的bin目录下执行命令 mysqld --install, 在windows上安装mysql服务 mysqld --initialize, 初始化数据目录. 然后在windows中使用win+r service.msc 命令打开windows服务, 找到并手动启动mysql的服 ......
centos安装mysql8，银河麒麟安装mysql8，arm(aarch)架构，rpm包，完全离线安装
作者主页：https://www.cnblogs.com/milkbox/ 参考： 软件包下载： https://rpmfind.net/linux/rpm2html/search.php MySQL :: Download MySQL Community Server 主要教程：十二、MySQL8 ......
ubuntu安装mysql8，debian安装mysql8，linux安装mysql8，x86_64架构，deb包
作者主页：https://www.cnblogs.com/milkbox 参考： 修改大小写：MySQL8.0安装后更改不区分大小写！包你必生效！_mysql8.0不区分大小写-CSDN博客 整个安装过程建议在root权限下进行。需要网络来下载相关依赖，如果你的系统已经存在相关以来，那么就可以离线安 ......
基于多节点多传感器融合的可穿戴无线数据采集系统架构解析
前记 随着无线和传感器技术的不断进步，无线设备在逐步朝着小型化，可穿戴领域发展，在一些医疗健康以及科研领域。需要对多个节点做传感器监测。因此，基于多传感器节点融合的可穿戴设备可以解决很多行业问题。比如，生理信号的遥测，风力发电机运行状态的遥测。新能源电池生产过程中故障监测等。 随着团队在可穿戴领域的 ......
通用搜索架构（转）
转自：https://ost.51cto.com/posts/11557 回顾自己过去的5年，从一名后端开发工程师，自我摸索、学习、探究，成为一名搜索开发工程师。复盘总结自己经历过的搜索的三个阶段，可简要概括为：（1）关键词搜索、（2）相关性搜索、（3）探索式搜索。 具体如下图： • 关键词搜索：主 ......
互联网项目架构演变过程(单体架构-模块化架构-微服务架构)
1. 单体架构 1. 传统的架构分为三层架构：web控制层，业务控制层，数据库访问层 2. 业务没有拆分，所有的代码写在一个项目工程中 3. 一旦有一个模块导致服务不可用，可能会影响整个项目 2. 模块化架构 模块化项目就是把传统架构的项目进行业务拆分成多个app，最终打包成一个项目进行部署 3. ......
postgresql distinct on用法
除了我们熟知的distinct外，postgresql还支持distinct on，它的用途跟mysql没有启用ONLY_FULL_GROUP_BY SQL选项是一样的，针对声明的字段做分组，分组外的字段返回随机一行。如下： lightdb@oradb=# create table t_distin ......
架构相关---路由菜单权限+多模块菜单+微前端
权限 https://www.bilibili.com/video/BV1v14y1z7mb/ 1.路由菜单权限 2.权限有菜单权限，按钮权限 多模块菜单 1.高亮 2.多级和高亮 微前端 1.qiankun 2.microApp ......
高可用架构，去中心化有多重要？
★ 微服务系列18篇 1 背景 在互联网高可用架构设计中，应该避免将所有的控制权都集中到一个中心服务，即便这个中心服务是多副本模式。 对某个中心服务（组件）的过渡强依赖，那等同于把命脉掌握在依赖方手里，依赖方的任何问题都可能成为你不稳定的因素。 而弱化强依赖，实现可降级交互，是一种设计理念和架构模式 ......
系统存储架构升级分享
一、业务背景 系统业务功能：系统内部进行数据处理及整合, 对外部系统提供结果数据的初始化(写)及查询数据结果服务。 系统网络架构: • 部署架构对切量上线的影响 - 内部管理系统上线对其他系统的读业务无影响 •分布式缓存可进行单独扩容, 与存储及查询功能升级无关 •通过缓存层的隔离, 系统扩展期间外 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
Python 架构模式：附录 A 到 E
附录 A：摘要图和表 原文：Appendix A: Summary Diagram and Table 译者：飞龙 协议：CC BY-NC-SA 4.0 这是我们在书的最后看到的架构： 表 A-1 总结了每个模式及其功能。 表 A-1. 我们的架构组件及其功能 层 组件 描述 领域 定义业务逻辑。 ......
Python 架构模式：第十章到结语
第十章：命令和命令处理程序 原文：10: Commands and Command Handler 译者：飞龙 协议：CC BY-NC-SA 4.0 在上一章中，我们谈到使用事件作为表示系统输入的一种方式，并将我们的应用程序转变为一个消息处理机器。 为了实现这一点，我们将所有的用例函数转换为事件处理 ......
Python 架构模式：第五章到第九章
第五章：高档和低档的 TDD 原文：5: TDD in High Gear and Low Gear 译者：飞龙 协议：CC BY-NC-SA 4.0 我们引入了服务层来捕获我们从工作应用程序中需要的一些额外的编排责任。服务层帮助我们清晰地定义我们的用例以及每个用例的工作流程：我们需要从我们的存储库 ......