模式spark yarn on
spark 3.x idea linux远程开发环境搭建
依赖包 jdk 8或11都行，不要到jdk 17 jdk 17第一个问题是jdk内部类默认不允许反射，很多配置要改。 scala 2.13 scala 2.13版本是为scala 3.0版本准备的，改进挺多。可通过scala编程（第四版）学习。 hadoop 3.2.1 因为windows hado ......
spring与设计模式之三代理模式
部分内容引用： https://blog.csdn.net/shulianghan/article/details/119798155 一、定义 1.1定义 对于现实生活中的代理，大家非常好理解。我们需要代理，主要因为几个原因： 太忙-例如房产中介、代购 目前对象不是自身可以直接接触的-例如托人办事 ......
深入理解spring框架：剖析多线程模式下数据库连接
问题 1、spring框架下，大多数bean都是单例模式。这些单例模式的bean，会在多线程环境下执行（每个http request，可能对应一个线程）。如果bean是有状态的（对象的属性会被修改），如何解决线程安全问题？ 2、多线程环境下，db连接如何共享的？ db连接复用的粒度，是请求级别还是线 ......
代理模式（Proxy）
代理模式（Proxy） 1.1.1 摘要 今天是父亲节，首先祝爸爸父亲节快乐身体健康，随着互联网飞速的发展，现在许多软件系统都提供跨网络和系统的应用，但在跨网络和系统应用时，作为系统开发者并不希望客户直接访问系统中的对象。其中原因很多考虑到系统安全和性能因素，这时候聪明的开发者想到了在客户端和系统端 ......
AntDesignBlazor示例——暗黑模式
本示例是AntDesign Blazor的入门示例，在学习的同时分享出来，以供新手参考。 示例代码仓库：https://gitee.com/known/BlazorDemo 1. 学习目标 暗黑模式切换 查找组件样式 覆写组件样式 2. 添加暗黑模式切换组件 1）双击打开MainLayout.raz ......
单例模式（Singleton）的6种实现
单例模式（Singleton）的6种实现 1.1.1 摘要 在我们日常的工作中经常需要在应用程序中保持一个唯一的实例，如：IO处理，数据库操作等，由于这些对象都要占用重要的系统资源，所以我们必须限制这些实例的创建或始终使用一个公用的实例，这就是我们今天要介绍的——单例模式（Singleton）。 使 ......
设计模式之中介者模式
1. 定义 多个对象之间通过一个中介者对象进行通信和协作，而不是直接相互交互 2. 口语化表述 中介，这在生活中很常见，比如租房中介 通常，有住房出租的房东有很多，需要租房的租客也很多，但是租客难以直接联系房东，这个时候租房中介这个职业就出现了 房东将房屋登记到中介这里，租客来中介这里找房看房，这效 ......
freeswitch: esl inbound模式下外呼拨号
相信大家可能接到过一些电话，听上去不象是真人打过来的，比如：通知“您的信用卡到期了”，或者“您订的飞机航班取消了，请尽快改签或取消行程”，这种就是所谓的“自动外呼”系统，技术上讲，可以通过 esl inbound模式实现（注：对esl不熟悉的朋友，戳这里） 大概思路： 先把一些要外呼的任务计划，落地 ......
实验七：Spark机器学习库Mtlib编程实践
1、数据导入 导入相关的jar包： import org.apache.spark.ml.feature.PCA import org.apache.spark.sql.Row import org.apache.spark.ml.linalg.{Vector,Vectors} import org ......
Spark版本不兼容导致Standalone集群无法连接问题
一、Spark版本不一致报错现象 当使用client模式连接Spark的standalone集群时，报错所有的spark master的节点都没有回应。 二、问题排查思路 通过client端的日志产看没有什么有价值的信息，需要看下spark端的master的日志，docker logs spark- ......
C++ 单例模式以及内存管理
引用： https://zhuanlan.zhihu.com/p/37469260 https://www.cnblogs.com/xiaolincoding/p/11437231.html https://blog.csdn.net/unonoi/article/details/121138176 ......
vim模式用法及命令
vim的安装 [root@ycy2023 ~]# yum install vim -y 学习vim编辑器 vim命令模式(重点) 进入命令模式 按a,i,o由命令模式进入编辑模式 按ESC键就可以退出编辑模式进入命令模式 光标移动 按a进入是当前光标所在的字符后光标前输入内容,按i进入是当前光标所在 ......
Spark读写达梦数据库报错Decimal精度为负数以及解决方案
一、Spark读取DM数据库问题描述 当达梦的表格设计使用number数据类型时，如果没有指定精确，使用默认值，如下图所示 则在读取该表格数据时，报错如下： 24/01/12 10:43:48 ERROR Node: [47db01a8b6ff47e7840cb0a777033721]:compon ......
原型模式
原型模式 是利用克隆方法克隆出新的对象. 定义：原型实例指定创建对象的种类，并且通过拷贝这些原型创建新的对象 特点：不需要知道任何创建的细节，不调用构造函数 适用场景： 类初始化消耗较多资源 new产生的一个对象需要非常繁琐的过程（数据准备、访问权限等） 构造函数比较复杂 循环体中产生大量对象时 优 ......
2024-01-13 Can't perform a React state update on an unmounted component. This is a no-op, but it indicates a memory leak in your application. ==》引用了未使用的方法导致
react+antd业务代码报错： Can't perform a React state update on an unmounted component. This is a no-op, but it indicates a memory leak in your application. T ......
单例模式
设计模式 （一）什么是设计模式 设计模式是一种描述在特定上下文中常见问题及其解决方案的模板或蓝图。 它们是在软件工程中解决通用问题的经验总结，被广泛接受并应用于各种编程语言和框架中。 # 什么是设计模式 # 设计模式：就是解决问题的模板 # 大牛们会遇到各种各样的问题，长久以来就形成了一套相对规范的 ......
Spark On YARN架构
Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN对每一个程序很好地实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存 ......
设计模式—行为型模式之状态模式
设计模式—行为型模式之状态模式 状态（State）模式：对有状态的对象，把复杂的“判断逻辑”提取到不同的状态对象中，允许状态对象在其内部状态发生改变时改变其行为。 状态模式包含以下主要角色： 环境类（Context）角色：也称为上下文，它定义了客户端需要的接口，内部维护一个当前状态，并负责具体状态的 ......
工厂模式
简单工厂 根据工厂类中方法传入的参数返回所需的对象。 客户端（应用层）只知道传入工厂类的参数，对于如何创建对象逻辑不关心 优点：只需要传入一个正确的参数，就可以获取你所需要的对象而无需知道其创建的细节 缺点：工厂类的职责相对过重，增加新的产品需要修改工厂类的判断逻辑，违背开闭原则 coding: 1 ......
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION; ERROR 1410 (42000): You are not allowed to create a user with GRANT
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;ERROR 1410 (42000): You are not allowed to create a user with GRANT 解决办法 以下是 8.0版本的 ......
设计模式之单例模式
单例模式 【一】什么是设计模式？ 解决问题的模板，大牛们会遇到各种各样的问题，长久一来就形成了一套相对规范的解决办法。 【二】使用模式的好处？ 设计模式可以帮助开发人员编写高质量、可重用和易于维护的代码。 通过使用设计模式，开发人员可以避免重复劳动，并确保他们的代码遵循最佳实践和行业标准。 【三】设 ......
Spark on YARN的两种部署模式
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 ......
求生模式和追求模式
如果你长时间处于“求生模式”下，你大脑中负责“想要追求什么”的区域会萎缩，于是在竭尽全力求生的过程中你会忘记该如何去想象一个值得追求的有意义的未来。而失去了长期目标，你可能会感觉到人生的一切都陷入了虚无。 另外，有时候即使你已经从“求生模式”中逃了出来，你还是没有办法重新回忆起“想要追求什么东西”的 ......
redis报错MISCONF Errors writing to the AOF file: No space left on device，磁盘满无法写入数据报错
查询报错远程调用接口异常，F12查看网络和标投和预览到是mgr的接口此错误#根据报错提示：Error in execution; nested excepti on is io.lettuce.core.RedisCommandExecutionException: MISCONF Errors w ......
Early lameness detection in dairy cattle based on wearable gait analysis using semi-supervised LSTM-Autoencoder
一区top Computers and Electronics in Agriculture 题目：“基于半监督 LSTM-自动编码器可穿戴步态分析的奶牛早期跛行检测” (Zhang 等, 2023, p. 1) (pdf) “Early lameness detection in dairy ca ......
设计模式-工厂模式-简单工厂-抽象工厂
Makefile TARGET = factory CC=g++ DIR = $(shell pwd) DIR_OBJ = $(DIR)/obj DIR_SRC = $(DIR)/src DIR_INC = $(DIR)/inc SRC = $(wildcard $(DIR_SRC)/*.cpp) ......
Hadoop YARN ResourceManager 未授权访问
Hadoop YARN ResourceManager 未授权访问 原理 Hadoop是一款由Apache基金会推出的分布式系统框架，它通过著名的MapReduce算法进行分布式处理，Yarn是Hadoop集群的资源管理系统。yarn提供有默认开放在8088和8090的REST API（默认前者）允 ......
基于正则化的图自编码器在推荐算法中的应用 Application of graph auto-encoders based on regularization in recommendation algorithms
引言 看过的每一篇文章，都是对自己的提高。不积跬步无以至千里，不积小流无以成江海，积少成多，做更好的自己。 本文基于2023年4月6日发表于SCIPEERJ COMPUTER SCIENCE（PEERJ计算机科学）上的一篇名为《基于正则化的图自编码器在推荐算法中的应用》（Application of ......
scp 出现 subsystem request failed on channel 0 scp: Connection closed 的解决方法
. . . . . 先说结论，给 scp 命令添加一个 -O （大写字母O，不是数字0）参数就可以了。 开启故事模式 最近在使用 Gerrit 下载代码的时候，发现出现这样的错误： >$ git clone "ssh://user@10.10.10.13:29418/project/manifest ......
解释器模式(interpretor)
1 #include <iostream> 2 #include <string> 3 #include <vector> 4 #include <stdio.h> 5 using namespace std; 6 7 //抽象的表达式对象以及Context对象 8 //用于保存计算的中间结果以及当 ......