理论 知识hadoop
OSPF理论基础
由于静态路由由网络管理员手工配置，因此当网络发生变化时，静态路由需要手动调整，这制约了静态路由在现网大规模的应用。 动态路由协议因其灵活性高、可靠性好、易于扩展等特点被广泛应用于现网。在动态路由协议之中，OSPF（Open Shortest Path First，开放式最短路径优先）协议是使用场景非 ......
运动控制理论（2）——实践例子
目的：要知道末端点的位置。 直观的向量法 最直接的办法，以向量相加的形式求。 *3个向量都是参考0系构建。 坐标转换法 p1 是以1系下的局部坐标。 R是旋转矩阵，各列是以0系为参考的正交基。 v1是平移向量，也是以0系为参考的。 合并起来变成了T。 T = R3*3t3*3 ，将旋转和平移分开两个 ......
学习方法：知识模块
学习方法：知识模块 知识，是“某个问题解决方案”的思想、原理、技术、方法。每个学科，就是“一组问题的解决方案”的思想、原理、技术、方法。 模块，一个相对独立的、能够解决问题的知识的基本单位。每个学科，由若干个“模块”组成。每个学科的“模块”，叫做“知识模块”。“知识模块”，是每个学科的基本单位。 如 ......
POT超阈值模型和极值理论EVT分析|附代码数据
全文链接：http://tecdat.cn/?p=16845 最近我们被客户要求撰写关于极值理论的研究报告，包括一些图形和统计输出。 本文依靠EVT对任何连续分布的尾部建模。尾部建模，尤其是POT建模，对于许多金融和环境应用至关重要 POT模型其主要动机是为高洪水流量的概率模型提供实用工具。但是，E ......
一些Mybatis的知识点&易错点总结
1、映射文件配置容易出错 在映射文件中，我们很习惯想要在sql语句后面添加';'。 结果是报了一堆错误： 你能从下面的配置中找到哪些错误？ 总共有三处错误： 建议使用parameterType，而不是使用"parameterMap" 不使用$进行绑定数据，而是使用#{} sql语句后面不要以";"结 ......
Hadoop YARN ResourceManager 未授权访问
Hadoop YARN ResourceManager 未授权访问 原理 Hadoop是一款由Apache基金会推出的分布式系统框架，它通过著名的MapReduce算法进行分布式处理，Yarn是Hadoop集群的资源管理系统。yarn提供有默认开放在8088和8090的REST API（默认前者）允 ......
寒假1高数知识部分
今天是寒假正式复习的第一天，一整天都在和高数对线，数学真是一个非常好的避难所 首先是几个必背的公式，必须无条件准确熟虑的记住 1、三角函数的公式，特别是那两个平方和与1的公式，不要总依赖那个三角形图，要理解熟练，随时想到能用的出来 2、半角公式，都是正派、然后都要变三角函数，只有一个要加负号 3、斯 ......
深度学习之机器学习理论
（一）机器学习（Machine Learning）：就是让计算机具备从大量数据中学习的能力之一系列方法。机器学习使用很多统计方法，统计学家也称之为统计学习，但本质上起源于计算机科学的人工智能。 （二）机器学习的分类：机器学习主要分为两类，即监督学习(supervised learning)与非监督学 ......
网络基础知识学习
1、网络基础知识 ·OSI 七层模型 TCP/IP（Transmission Control Protocol/Internet Protocol）是传输控制协议和网络协议的简称，它定义了电子设备如何连入因特网，以及数据如何在它们之间传输的标准。TCP/IP 不是一个协议，而是一个协议族的统称，里面 ......
Elastic 安全相关知识
Elastic 安全相关知识 证书相关 CA证书 docker 部署不要使用自动生成的证书，找不到 CA 私钥，对于后续证书的生成是个很大的问题，建议先自己生成 CA，再使用自己的CA生成相应证书。 # 生成一个压缩包，包含一个 crt 格式的 CA 证书文件和 私钥 elasticsearch-c ......
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
数据库基本理论知识
1. 数据库 数据库是一个以某种有组织的方式存储的数据集合。最简单的方法是将数据库想象为一个文件柜。这个文件柜是一个存放数据的物理位置，不管数据是什么，也不管数据如何组织。 数据库 (database)：保存有组织的数据的容器（通常是一个文件或者一组文件）。 数据库软件应该称为数据库管理系统（DBM ......
哲学：想和做（“理论”必须作用域“实现”）
哲学：想和做（“理论”必须作用域“实现”） 想和做。理论和实现。 想、理论，都是“思维”活动，“虚拟”行为；做、实现，都是“实践”活动，“真实”行为。虚拟行为，指“行为”没有改变客观世界；真实行为，指“行为”改变了客观世界。 理论、想，在“虚拟环境”中，构建一条在现实环境中实现目标的可行路径。理论、 ......
Hadoop之mapreduce参数大全-5
101.指定任务启动过程中允许的最大跳过尝试次数 mapreduce.task.skip.start.attempts 是 Hadoop MapReduce 框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数。 在 MapReduce 作业中，如果某个任务（Map 任务或 Reduc ......
Hadoop之mapreduce参数大全-6
126.指定 Map 任务运行的节点标签表达式 mapreduce.map.node-label-expression 是 Hadoop MapReduce 框架中的一个配置属性，用于指定 Map 任务运行的节点标签表达式。节点标签是在 Hadoop 集群中为节点分配的用户定义的标签，可用于将 Ma ......
【C/C++】知识点笔记
1 - 联合体内嵌结构体初始化赋值 union { struct { int i; float f; char *p; }; int o; } obj3 = { 1, 2.2, "sk", 4, 9 }; printf("struct inlay union: %d, %f, %s, %d\n", ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
「云渲染知识」建筑效果图用什么软件制作？
高品质的建筑效果图需要利用插件来模拟复杂的场景、光线照射和天气变化。然而，许多专业人士可能不清楚有哪些软件可以实现这样的效果。下面将介绍一些常用的软件来帮助实现高品质的建筑效果图。 一、建筑效果图必备软件 1、三维建模工具 Autodesk 3ds Max：强大的建模工具，用于创建复杂的三维模型和高 ......
生活常识-贵金属-黄金知识
前言全局说明 生活常识-贵金属-黄金知识 内容来源于网络 一、单位 Au 黄金化学符号 g 是黄金 gold 的缩写 来源：微信视频号“西安黄金小郭” 二、标号 AU999 或 g999 是纯黄金 AU750 或 g750 代表含金量 75% 三、没有字母只有数字标号 999 这种不是黄金规范标号， ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
数据结构 图的基本知识
图的基本知识： 在n个结点的无向图中，若该图是连通图,则其边数大于等于n-1， 在n个结点的无向图中，若边数大于(n-2)(n-1)/2+1，则该图必是连通图 就是说连通是比较强的条件 2.用邻接矩阵法存储一个图所需的存储单元数目与图的边数有关。（） 正确 错误 这一题有歧义：如果不考虑邻接矩阵的压 ......
数据结构图的基本知识题
判断题 1.在n个结点的无向图中，若边数大于n-1,则该图必是连通图。 T F 解释： 以下两种说法是对的： 在n个结点的无向图中，若该图是连通图,则其边数大于等于n-1， 在n个结点的无向图中，若边数大于(n-2)(n-1)/2，则该图必是连通图 就是说连通是比较强的条件 2.用邻接矩阵法存储 ......
Hadoop之mapreduce参数大全-4
76.指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留 mapreduce.task.files.preserve.filepattern 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留。 在 ......
Hadoop之mapreduce参数大全-3
51.指定Shuffle传输过程中可以同时连接的节点数 mapreduce.shuffle.max.connections是Hadoop MapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数。该参数用于控制Shuffle传输的并发度，以保障任务的稳定性和性能。 可 ......
涨知识 —— 别寄辣味泡面了，日本灾区不欢迎
相关: 别寄辣味泡面了，日本灾区不欢迎 给灾区送事物要注意： 不能送辣的（除非是冬天天冷需要一定的御寒提温），因为灾区往往都缺饮用水。 不能送太咸的事物（咸菜这种单独的配菜除外），因为灾区往往都缺饮用水。 不能送熟食，因为灾区往往食物保存条件差，不可能有冰箱来提供，需要保质期长的事物。 不能送与救援 ......
齿轮知识
机械齿轮齿数要不少于17 17+3 或者17+2 否则会根切 塑料齿轮模数通常选0.5-0.8 齿轮齿数一般不小于10 否则强度不够 齿轮慢走丝精度可达到1um 快走丝精度0.01mm ......