命令 常用hadoop
hadoop和spark
Spark和Hadoop是大数据处理领域两个重要的开源框架，它们之间既有紧密的联系也有显著的区别。 联系： 生态兼容：Spark可以无缝运行在Hadoop之上，利用Hadoop Distributed File System (HDFS) 进行数据存储，并且可以通过YARN（Yet Another ......
windows常用命令
找端口杀进程 Microsoft Windows [版本 10.0.19045.3693] (c) Microsoft Corporation。保留所有权利。 C:\Users\mawencai>netstat -ano|find "8080" TCP 0.0.0.0:8080 0.0.0.0:0 ......
Linux命令
一、文件夹 1.删除文件夹：rm -rf 文件夹路径 2.查看当前文件夹下每个子文件夹大小：du -sh * | sort -rh 参考了连接Linux系统查看文件夹大小，并按照从大到小排列~ - 知乎 (zhihu.com) 二、文件 1.删除文件：rm 文件名称 三、系统 1.查看系统当前总体内 ......
Linux：sudo命令
为了方便在普通用户下能够直接执行具有root用户权限的命令，可以通过修改 /etc/sudoers 文件，该文件的默认权限是：440，需要先修改文件权限为：640。 在文件中新加2行后，重新将文件权限改回：440 文件权限修改命令：chmod 640 /etc/sudoers 在文件最末尾处加了2行 ......
linux系统之cpupower命令
简介 cpupower命令的功能是用于调整CPU主频参数，Linux系统内核支持根据使用场景来通过调节CPU主频参数来提高计算性能或降低功耗。 对于移动设备来讲，在没有接通电源的时候，续航是很重要的。而服务器是一直接着电源的，而且需要性能很强，此时就应禁止CPU休眠功能，并把CPU主频固定到最高值了 ......
辅助思考的工具有很多，以下是一些常用的辅助思考工具
辅助思考的工具有很多，以下是一些常用的辅助思考工具： 思维导图：思维导图是一种用图形方式呈现信息和关系的工具。通过将主题放在中心，然后用分支表示相关的子主题和关联信息，可以帮助我们组织思维、展示思路和发现新的观点。 SWOT 分析：SWOT 分析是一种评估一个项目、产品或个人的优势、劣势、机会和威胁 ......
http常用状态码
100（继续）：客户端应继续其请求。 200（成功）：服务器已成功处理了请求并提供了请求的网页。 204（无内容）：服务器成功处理了请求，但没有返回任何内容。 301（永久移动）：请求的资源已被永久的移动到新URI。 302（临时移动）：请求的资源临时从不同的URI响应请求。 304（未修改）：如果 ......
kubectl命令
1.管理集群 1.1 kubectl命令 kubectl是控制k8s集群的命令行工具 kubectl [command] [type] [name] [flags] 语法格式 - command 子命令: create，get，describe，delete - type: 资源类型，可以表示为单数 ......
Hadoop之mapreduce参数大全-5
101.指定任务启动过程中允许的最大跳过尝试次数 mapreduce.task.skip.start.attempts 是 Hadoop MapReduce 框架中的一个配置属性，用于指定任务启动过程中允许的最大跳过尝试次数。 在 MapReduce 作业中，如果某个任务（Map 任务或 Reduc ......
Hadoop之mapreduce参数大全-6
126.指定 Map 任务运行的节点标签表达式 mapreduce.map.node-label-expression 是 Hadoop MapReduce 框架中的一个配置属性，用于指定 Map 任务运行的节点标签表达式。节点标签是在 Hadoop 集群中为节点分配的用户定义的标签，可用于将 Ma ......
8-shell命令汇总
帮助命令 man：详细的帮助信息 man ls # 查看ls命令的帮助信息 参数 -f 加上-f可以查看内置命令，比如cd [root@192 ~]# man -f cd # 查看内置命令cd的帮助信息 cd (1) - GNU Bourne-Again SHell (GNU 命令解释程序 “Bou ......
面试题：Hadoop的基于进程的计算和Spark基于线程方式优缺点？
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没 有互相干扰，监控方便，但是问题在于task之间不方便共享数据，执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加 载到每个map t ......
liunx常用命令
系统 df -h 查看磁盘分配路径 uname-a 查看系统内核 cat /etc/redhat-release查看系统版本 lscpu 查看cpu cat /etc/os-release lsblk 查看挂载情况 操作 cd 进入 ls -l 查看详细信息 chmod -R 777 / 分配权限 ......
NVM常用命令
NVM Node版本管理工具， 命令： 1.查看已安装的node版本：nvm list 2.查看所有node版本：nvm list available 3.安装最新版本：nvm install latest 4.安装稳定版本：nvm install lts 5.切换node版本：nvm use 版本 ......
Matlab中常用快捷键：注释、自动对齐、跳转指定行、设置标签等
Matlab中有11个常用快捷键，可以大大提高编程效率，并且可以节省时间。 1. 注释： 注释是指在程序中添加注释，以便于以后更好地理解程序的含义。 快捷键为Ctrl+R，点击后可以将当前行变为注释，再次点击可以取消注释。 2. 自动对齐： 自动对齐是指将程序中的代码按照一定的格式进行排列，使得程序 ......
关于函数式接口中常用的Supplier、Consumer、predicate、Function的总结以及其使用场景
首先介绍一下函数式接口:函数式接口在Java中是指：有且仅有一个抽象方法的接口。函数式接口，即适用于函数式编程场景的接口。而Java中的函数式编程体现就是Lambda，所以函数式接口就是可以适用于Lambda使用的接口。只有确保接口中有且仅有一个抽象方法，Java中的Lambda才能顺利地进行推导。 ......
常用开源组件
常用开源组件集合： https://github.com/YSGStudyHards/DotNetGuide 常用工具： https://github.com/laochiangx/Common.Utility/tree/master 文档管理： https://github.com/dorisoy ......
conda基础命令
conda 基础命令基于官方文档 All for windows 一. Managing conda 版本查看 conda --version 升级版本 conda update conda Managing environments create a new environments and in ......
『文学常识』常用谦敬辞积累
『文学常识』常用谦敬辞积累 (待审核) 2024-1-10 10:32 |个人分类:生活|系统分类:人文社科 『文学常识』常用谦敬辞积累 点击关注👉 壹爸课堂 2021-09-30 07:30 1．“拜”字一族。用于自己的行为动作涉及对方时。 (1)拜读：阅读对方的作品。 (2)拜会：和对方见面。 ......
在IDEA中配置使用DOC(cmd)命令行窗口
在IDEA中配置使用DOC(cmd)命令行窗口 一、基本设置步骤 ① 中文 设置 -> 工具 -> 终端 -> 修改shell路径为C:\Windows\System32\cmd.exe（cmd.exe路径）。 ② 英文 Settings... -> Tools -> Terminal -> 将Sh ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
【常用模块及方法】random_json_os_hashlib_time
【一】random（随机数模块） random模块是Python中用于生成随机数的一个标准库模块。它提供了各种生成随机数的函数和方法，可以用于生成随机数、随机选择、随机排列等。通过使用random模块，你可以在Python程序中实现随机性和不确定性，以及进行各种随机相关的操作。例如，可以使用rand ......
【常用模块及方法】random_json_os_hashlib_time
【一】random（随机数模块） random模块是Python中用于生成随机数的一个标准库模块。它提供了各种生成随机数的函数和方法，可以用于生成随机数、随机选择、随机排列等。通过使用random模块，你可以在Python程序中实现随机性和不确定性，以及进行各种随机相关的操作。例如，可以使用rand ......
Go语言接口防并发常用方案
Go语言接口防并发常用方案 原创 枫潇潇兮 程序员技术成长之路 2024-01-09 08:30 发表于福建 听全文 Go语言中处理并发的常见策略涉及了并发原语，如互斥锁（sync.Mutex）、读写锁（sync.RWMutex）、通道（channel）以及原子操作（sync/atomic）。接口（ ......
Hadoop之mapreduce参数大全-4
76.指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留 mapreduce.task.files.preserve.filepattern 是 Hadoop MapReduce 框架中的一个配置属性，用于指定在 MapReduce 作业中，哪些输出文件应该在任务失败时保留。 在 ......
Hadoop之mapreduce参数大全-3
51.指定Shuffle传输过程中可以同时连接的节点数 mapreduce.shuffle.max.connections是Hadoop MapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数。该参数用于控制Shuffle传输的并发度，以保障任务的稳定性和性能。 可 ......
【Application Insights】使用Powershell命令向Application Insgihts发送测试数据
问题描述 在昨天的文章中，介绍了 “【Application Insights】使用CURL命令向Application Insgihts发送测试数据 ”，今天则继续实验通过PowerShell命令来发送测试数据到Application Insights 问题解答 从参考文档中复制出 Powersh ......
grep 常用参数
–color=auto 或者 –color：表示对匹配到的文本着色显示 -i：在搜索的时候忽略大小写 -n：显示结果所在行号 -c：统计匹配到的行数，注意，是匹配到的总行数，不是匹配到的次数 -o：只显示符合条件的字符串，但是不整行显示，每个符合条件的字符串单独显示一行 -v：输出不带关键字的行（反 ......
hutool的常用方法
https://www.hutool.cn/docs/#/ 官方文档 Hutool 是一个 Java 开发工具包，提供了丰富实用的工具类，包括字符串处理、日期处理、文件操作、加密解密、网络请求等等。以下是 Hutool 的几个常用方法： 字符串处理： StrUtil.isBlank(String s ......
Flutter 中常用的视频播放器
Flutter 中常用的视频播放器有很多种，不同的播放器有着各自的优势和缺点。下面是一些常用的视频播放器，以及它们的优势、缺点和性能优化策略。 video_player: 优势：Flutter 官方提供的视频播放器，可支持多种平台，播放效果良好，使用简单。 缺点：不支持更高级的功能和自定义控制选项。 ......