wordcount案例pyspark
SpringBootWeb案例-2中
2.3 阿里云OSS2.3.1 准备阿里云是阿里巴巴集团旗下全球领先的云计算公司,也是国内最大的云服务提供商 。云服务指的就是通过互联网对外提供的各种各样的服务,比如像:语音服务、短信服务、邮件服务、视频直播服务、文字识别服务、对象存储服务等等。当我们在项目开发时需要用到某个或某些服务,就不需要自己 ......
SpringBootWeb案例-2上
SpringBootWeb案例前面我们已经实现了员工信息的条件分页查询以及删除操作。 关于员工管理的功能,还有两个需要实现:新增员工修改员工首先我们先完成"新增员工"的功能开发,再完成"修改员工"的功能开发。而在"新增员工"中,需要添加头像,而头像需要用到"文件上传"技术。 当整个员工管理功能全部开 ......
案例3 配置明文远程管理协议
1. 华为设备 1.1 配置R1 <Huawei>sys <Huawei>system-view Enter system view, return user view with Ctrl+Z. [Huawei]sysname HW-R1 [HW-R1]int g0/0/1 [HW-R1-Gigab ......
案例2 网络设备初始化及Console端口密码认证
1. 华为设备 <Huawei> <Huawei>system-view [Huawei]user-interface console 0 [Huawei-ui-console0]authentication-mode password [Huawei-ui-console0]set authent ......
父子shell变量案例
父子shell变量经典案例 ###案例1, ###1.开启子shell的执行方式 [root@localhost myshell]# cat mak_var.sh name="脚本变量" [root@localhost myshell]# name="当前shell进程变量" [root@local ......
Shell子串_变量子串案例_统计字符长度以及命令执行时长
子串案例 shell截取字符串通常由两种方式:从指定位置开始截取和从指定字符开始截取 从指定位置开始截取:这种方式需要两个参数,除了指定的起始位置,还需要截取长度,才能确定要截取的字符串。既然需要指定其实位置,到底是从字符串的左边开始计数,还是从字符串右边开始计数,答案是shell同时支持两种计数方 ......
Shell子串_变量子串案例_批量修改文件名
实际案例批量修改文件名 准备测试数据 [root@localhost sub_str]# touch xujianbing_{1..5}_finished.jpg [root@localhost sub_str]# touch xujianbing_{1..5}_finished.png [root ......
SpringBootWeb案例-1 -下
3. 员工管理完成了部门管理的功能开发之后,我们进入到下一环节员工管理功能的开发。基于以上原型,我们可以把员工管理功能分为:分页查询(今天完成)带条件的分页查询(今天完成)删除员工(今天完成)新增员工(后续完成)修改员工(后续完成)那下面我们就先从分页查询功能开始学习。3.1 分页查询3.1.1 基 ......
SpringBootWeb案例-1上
SpringBootWeb案例前面我们已经讲解了Web前端开发的基础知识,也讲解了Web后端开发的基础(HTTP协议、请求响应),并且也讲解了数据库MySQL,以及通过Mybatis框架如何来完成数据库的基本操作。 那接下来,我们就通过一个案例,来将前端开发、后端开发、数据库整合起来。 而这个案例呢 ......
延时从库企业案例
故障回顾 # 启动脚本,模拟数据库的用户写入 #!/bin/bash mysql -uroot -p123 -e "drop database if exists prod;" mysql -uroot -p123 -e "create database if not exists prod;" m ......
mysqldump企业案例
mysqldump企业案例 背景: 正在运行的网站系统,MySQL数据库,数据量25G,日业务增量10-15M。 备份策略: 每天23:00,计划任务调用mysqldump执行全备脚本 故障时间点: 上午10点开发人员误删除一个核心业务表,如何恢复? vim /root/6.sh #!/bin/ba ......
PLC通过Modbus转Profinet网关连接变频器控制电机案例
在本案例中,通过使用Modbus转Profinet网关(XD-MDPN100),PLC可以通过Profinet协议与变频器进行通信和控制。这样,PLC可以实现对电机的转速调节、启停控制等功能。
同时,通过Modbus转Profinet(XD-MDPN100)网关协议转换的应用,可以实现对电机运行状... ......
pyspark环境搭建
安装anaconda 1.首先安装spark,在安装spark之前需要安装anaconda 可以到清华大学镜像源下载: https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 以镜像源为例: 由于使用python3.8,anaconda下载的版本 ......
盘点一个Python自动化办公Excel数据填充实战案例(上篇)
大家好,我是皮皮。 一、前言 前几天在Python白银交流群【上海新年人】问了一个Python自动化办公的问题,一起来看看吧。有个表格,里面每行信息,如下图所示: 现在需要将数据贴到另一个文件指定单元格中,另一个文件是这样子的。 下图是他的原始数据和他想得到的目标数据,一页有三个,如下所示: 预期得 ......
【进阶16】Python多线程实战案例
一、Python实现多线程的几种方式 _thread:模块提供了基本的线程和互斥锁支持;更底层的的线程管理实现模块 threading:threading模块则通过封装_thread,提供了更加全面的线程使用方法。 _thread案例: # *coding:utf-8 * #用_thread启动多个 ......
【Azure Function App】Python Function调用Powershell脚本在Azure上执行失败的案例
问题描述 编写Python Function,并且在Function中通过 subprocess 调用powershell.exe 执行 powershell脚本。 import azure.functions as func import logging import subprocess app ......
GaussDB(DWS)案例丨MERGE场景下语句不下推引起的性能瓶颈问题
本文分享自华为云社区《GaussDB(DWS)性能调优:MERGE场景下语句不下推引起的性能瓶颈问题案例》,作者:O泡果奶~。 1、【问题描述】 语句执行时间过长,且该语句performance执行计划中SQL Diagnostic Information显示SQL语句不下推,理由为:Type of ......
解决DOS攻击生产案例:根据web日志或者或者网络连接数,监控当某个IP 并发连接数或者短时内PV达到100,即调用防火墙命令封掉对应的IP,监控频 率每隔5分钟
方法一:在awk中已经判断好并发连接数量的ip地址,传给while read执行防火墙规则封掉对应的ip。root@centos8 ~]# cat ddos.sh#!/bin/bashss -nt |awk -F '[ :]+' '/ESTAB/{ip[$(NF-2)]++}END{for(i in ......
html 全选或全不选小案例
lf 你爱好的运动是? 全选/全不选 足球 篮球 羽毛球 乒乓球 <!DOCTYPE html> <html> <head> <meta charset="utf-8" /> <title>lf</title> <script type="text/javascript"> function sel ......
实践一下前几天的wordCount案例
1、自己准备一个数据量比较小的txt文件 然后将其上传到虚拟机本地: 之后上传到hdfs里面: 2、编写代码 1、引入相关依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common ......
架构案例收集
淘宝技术这十年 饿了么交易系统 5 年演化史:https://mp.weixin.qq.com/s/pZlFov4irxAMclY_628Zug 50份架构文档荟萃(分布式事务-缓存-消息-搜索、电商、支付,多活... https://mp.weixin.qq.com/s/nPjTV11NgPUvv ......
MapReduce学习二之WordCount案例
一、案例概述 1、第一步--变成偏移量的K1,V1(这一步不需要我们自己写) 2、进入Map阶段 输出新的<K2,V2>的键值对; 3、Shuffle阶段 分区、排序、规约、分组 输出新的键值对: 4、Reduce阶段 转换为<K3,V3>的新的形式的键值对; 利用TextOutputFormat的 ......
连接SQL Server数据库(详细步骤+登录注册案例)
数据库入门~连接数据库(详细步骤+登录注册案例+简单界面) 步骤一:SQL Server使用sql server身份验证登录,方便与编写的程序连接 <1> 首先使用Windows登录进去,右键实例,点击属性,再选择安全性,将该选项卡中的服务器身份验证改为sql server和windows身份验证模 ......
基本入门案例、视图类
flask-restful中有两个基本的类,一个是Api、一个是Resource Api(用于构建restful风格的主类,需要将flask实例app传递给其实例化。) Resource(视图类,类似django的View,理念上和django、drf都是类似的,以请求方式名作为每个视图函数入口), ......
Spark算子实现wordCount的十种方法
//groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" " ......
Zabbix调优不完全指南(共12个优化案例)
从学习搭建zabbix到完成各类监控、调优、二次开发已经过去了两年,期间通过QQ学习群、zabbix官方社区、各个技术博客整理学习了不少关于各种报错的处理方法,现在将常见的一些报错处理方法整理出来分享给大家。 现在开始介绍常见报错处理方法: 问题一、Zabbix server内存溢出,无法启动 问题 ......
金融量化项目案例 -- 双均线策略制定
博客地址:https://www.cnblogs.com/zylyehuo/ 开发环境 anaconda 集成环境:集成好了数据分析和机器学习中所需要的全部环境 安装目录不可以有中文和特殊符号 jupyter anaconda提供的一个基于浏览器的可视化开发工具 使用tushare包获取某股票的历史 ......
金融量化项目案例 -- 股票分析
博客地址:https://www.cnblogs.com/zylyehuo/ 股票分析 使用tushare包获取某股票的历史行情数据。 输出该股票所有收盘比开盘上涨3%以上的日期。 输出该股票所有开盘比前日收盘跌幅超过2%的日期。 tushare财经数据接口包 !pip install -i htt ......