词频wordcount案例hadoop
linux命令基础案例
2 制作tar包（tar打包） 格式：tar 选项 /路径/压缩包名字 /源数据……. -c:动作为创建 -f:指定压缩包名字(必须在所有选项最后) -z、-j、-J：调用 .gz、.bz2、.xz 格式工具进行处理 [root@localhost /]# tar -zcf /root/cbd.ta ......
.NET微服务系列之Saga分布式事务案例实践
自从Wing正式发布以后，很多童鞋反馈对Saga分布式事务比较感兴趣，今天就跟大家分享一下“跨行转账”的分布式事务实践案例，入门使用教程请自行前往Wing官方文档。 假设自己名下有“中国农业银行（ABC）”和“中国工商银行（ICBC）”的账户余额各1万元，现在从“ABC”跨行转账1000元到“ICB ......
执行wordcount报错及解决
今天在执行wordcount词频统计时报错 执行语句为 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput 报错如下 这表示指定的输入路径 hdfs://ha ......
KingbaseES V8R6集群运维案例之---查看主备流复制之间的延迟
案例说明： 在主备流复制集群运维过程中，对于同步复制节点，在读写分离环境应用需要强一致性访问时，需要监控主备之间流复制的延迟。 适用版本： KingbaseES V8R6 一、主库查询流复制延迟 1、 通过sys_stat_replication 获取sent_lsn、write_lsn、flush ......
SpringBoot最常用的50个注解：全面解析与应用案例
引言 Spring Boot是Java开发者的一套强大的开源框架，它极大地简化了Spring应用的初始搭建以及开发过程。Spring Boot的主要优势之一是其丰富的注解（Annotation），这些注解使得我们能够通过简短的代码 实现复杂的功能。本文将深入解析Spring Boot中最常用的50个 ......
SpringBootWeb案例-2 -下
3. 修改员工需求：修改员工信息 在进行修改员工信息的时候，我们首先先要根据员工的ID查询员工的信息用于页面回显展示，然后用户修改员工数据之后，点击保存按钮，就可以将修改的数据提交到服务端，保存到数据库。 具体操作为：根据ID查询员工信息保存修改的员工信息3.1 查询回显3.1.1 接口文档根据ID ......
在hadoop虚拟机里面使用hadoop jar运行打包文件，出现Exception in thread "main" org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.RpcNoSuchProtocolException): Unknown protocol: org.apache.hadoop.的问题的解决
问题描述 更改了JDK版本之后，再次运行又出现了这个错误： 问题解决 经过查阅相关资料，发现是自己定义的hdfs的路径不太对，本来写的是这样的： 然后自己确实不记得配置环境时配置的是多少，就看了看这个文件core.site.xml: cat core-site.xml 然后看到这里： 使用的端口号是 ......
shell实战_检查服务状态经典案例
应用实例检查服务状态 开发mysql监控脚本 类型 说明 端口监控 1）在服务器本地监控服务端口的长假命令有netstat,ss,lsof;2)从远端监控服务器本地端口的命令有telnet,nmap,nc 监控服务进程货进程数 此帆帆适合本地服务器，注意，过滤的是进程的名字。命令为：ps -ef|g ......
js之基础算法案例
1 判断是闰年还是平年 算法：能被4整除且不能整除100的为闰年 或者能够被 400 整除的是闰年 // 接收用户输入 var year = prompt('请您输入年份：'); if (year % 4 == 0 && year % 100 != 0 || year % 400 == 0) { a ......
SpringBootWeb案例-2中
2.3 阿里云OSS2.3.1 准备阿里云是阿里巴巴集团旗下全球领先的云计算公司，也是国内最大的云服务提供商 。云服务指的就是通过互联网对外提供的各种各样的服务，比如像：语音服务、短信服务、邮件服务、视频直播服务、文字识别服务、对象存储服务等等。当我们在项目开发时需要用到某个或某些服务，就不需要自己 ......
SpringBootWeb案例-2上
SpringBootWeb案例前面我们已经实现了员工信息的条件分页查询以及删除操作。 关于员工管理的功能，还有两个需要实现：新增员工修改员工首先我们先完成"新增员工"的功能开发，再完成"修改员工"的功能开发。而在"新增员工"中，需要添加头像，而头像需要用到"文件上传"技术。 当整个员工管理功能全部开 ......
案例3 配置明文远程管理协议
1. 华为设备 1.1 配置R1 <Huawei>sys <Huawei>system-view Enter system view, return user view with Ctrl+Z. [Huawei]sysname HW-R1 [HW-R1]int g0/0/1 [HW-R1-Gigab ......
pytorch(8-3) 文本语言处理 拆分成字符统计词频并从高到底分配ID 画图可视化1-3元词频分布规律
https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l #@save ......
案例2 网络设备初始化及Console端口密码认证
1. 华为设备 <Huawei> <Huawei>system-view [Huawei]user-interface console 0 [Huawei-ui-console0]authentication-mode password [Huawei-ui-console0]set authent ......
pytorch(8-2) 文本语言处理 拆分成字符统计词频并从高到底分配ID
https://zh.d2l.ai/chapter_recurrent-neural-networks/language-models-and-dataset.html import collections import re from d2l import torch as d2l #@save ......
父子shell变量案例
父子shell变量经典案例 ###案例1， ###1.开启子shell的执行方式 [root@localhost myshell]# cat mak_var.sh name="脚本变量" [root@localhost myshell]# name="当前shell进程变量" [root@local ......
Shell子串_变量子串案例_统计字符长度以及命令执行时长
子串案例 shell截取字符串通常由两种方式：从指定位置开始截取和从指定字符开始截取 从指定位置开始截取：这种方式需要两个参数，除了指定的起始位置，还需要截取长度，才能确定要截取的字符串。既然需要指定其实位置，到底是从字符串的左边开始计数，还是从字符串右边开始计数，答案是shell同时支持两种计数方 ......
Shell子串_变量子串案例_批量修改文件名
实际案例批量修改文件名 准备测试数据 [root@localhost sub_str]# touch xujianbing_{1..5}_finished.jpg [root@localhost sub_str]# touch xujianbing_{1..5}_finished.png [root ......
SpringBootWeb案例-1 -下
3. 员工管理完成了部门管理的功能开发之后，我们进入到下一环节员工管理功能的开发。基于以上原型，我们可以把员工管理功能分为：分页查询（今天完成）带条件的分页查询（今天完成）删除员工（今天完成）新增员工（后续完成）修改员工（后续完成）那下面我们就先从分页查询功能开始学习。3.1 分页查询3.1.1 基 ......
SpringBootWeb案例-1上
SpringBootWeb案例前面我们已经讲解了Web前端开发的基础知识，也讲解了Web后端开发的基础(HTTP协议、请求响应)，并且也讲解了数据库MySQL，以及通过Mybatis框架如何来完成数据库的基本操作。 那接下来，我们就通过一个案例，来将前端开发、后端开发、数据库整合起来。 而这个案例呢 ......
延时从库企业案例
故障回顾 # 启动脚本，模拟数据库的用户写入 #!/bin/bash mysql -uroot -p123 -e "drop database if exists prod;" mysql -uroot -p123 -e "create database if not exists prod;" m ......
mysqldump企业案例
mysqldump企业案例 背景： 正在运行的网站系统，MySQL数据库，数据量25G，日业务增量10-15M。 备份策略： 每天23：00，计划任务调用mysqldump执行全备脚本 故障时间点： 上午10点开发人员误删除一个核心业务表，如何恢复？ vim /root/6.sh #!/bin/ba ......
PLC通过Modbus转Profinet网关连接变频器控制电机案例
在本案例中，通过使用Modbus转Profinet网关（XD-MDPN100），PLC可以通过Profinet协议与变频器进行通信和控制。这样，PLC可以实现对电机的转速调节、启停控制等功能。
同时，通过Modbus转Profinet（XD-MDPN100）网关协议转换的应用，可以实现对电机运行状... ......
hadoop集群搭建及编程实践
Hadoop集群搭建 前期准备及JDK，hadoop安装 设置主机名和添加主机映射 验证连通性 SSH无密码登录 配置集群/分布式环境 修改workers 修改文件core-site.xml 修改hdfs-site.xml 修改mapred-site.xml 修改yarn-site.xml 分发到其 ......
Hadoop问题解决（3）
在启动hadoop过程中，出现如下错误： 192.168.10.100: Invalid maximum heap size: -Xmx0m192.168.10.100: Could not create the Java virtual machine.192.168.10.100: jobtra ......
hadoop问题解决（4）
默认配置是将datanode,namenode,jobtracker,tasktracker,secondarynamenode的pid存放在/tmp目录下, 随着linux的定期清理, 这些pid就不见了,当然就无法停止了, 怎么解决呢?在/tmp目录创建或者修改hadoop-hadoop用户名- ......
盘点一个Python自动化办公Excel数据填充实战案例（上篇）
大家好，我是皮皮。 一、前言 前几天在Python白银交流群【上海新年人】问了一个Python自动化办公的问题，一起来看看吧。有个表格，里面每行信息，如下图所示： 现在需要将数据贴到另一个文件指定单元格中，另一个文件是这样子的。 下图是他的原始数据和他想得到的目标数据，一页有三个，如下所示： 预期得 ......
【进阶16】Python多线程实战案例
一、Python实现多线程的几种方式 _thread：模块提供了基本的线程和互斥锁支持；更底层的的线程管理实现模块 threading：threading模块则通过封装_thread，提供了更加全面的线程使用方法。 _thread案例： # *coding:utf-8 * #用_thread启动多个 ......
【Azure Function App】Python Function调用Powershell脚本在Azure上执行失败的案例
问题描述 编写Python Function，并且在Function中通过 subprocess 调用powershell.exe 执行 powershell脚本。 import azure.functions as func import logging import subprocess app ......