实战ingress k8s k8
ASR项目实战-项目交付历程
本文记录，作为项目主要负责人，完整参与语音识别项目的交付历程。 2019年12月中旬 接到项目交付任务，收集基本知识，启动业务分析工作。 2020年1月 完成竞品分析的整理。 梳理合作伙伴的清单，整理项目计划，启动和各合作伙伴的沟通工作。 启动架构方案、设计方案的准备工作。 2020年2月 和合作伙 ......
ASR项目实战-交付团队的分工
对于通常的软件项目，参与角色，比如可以有用户，消费者，产品团队，研发团队（研发团队包括开发和测试），运营团队，运维团队，管理团队。 通常认为，用户，负责购买服务的群体，而消费者，负责使用业务的群体。这两个群体，不在本文的讨论范围之内，因此后续的介绍中，除非明确说明，否则默认均不涉及。 产品团队，研发 ......
ASR项目实战-产品分析
分析Google、讯飞、百度、阿里、QQ、搜狗等大厂的ASR服务，可以罗列出一款ASR服务所需要具备的能力。 产品分类 ASR云服务产品，从用户体验、时效性、音频时长，可以划分为如下几类： 实时短音频转写，可以用于支撑输入法、搜索、导航等场景。 实时长音频转写，可以用于支撑视频字幕、图文直播、会议直 ......
ASR项目实战-前处理
本文深入探讨前处理环节。 首先介绍一些基本的名词，比如 文件名后缀 文件格式 音频格式 采样率和位深 预备知识 文件名后缀、文件格式和音频格式 常见的音频文件，比如.wav、.mp3、.m4a、.wma等，这些都代表什么？ 仅仅是这类音频文件的后缀而已，不一定和音频文件的编码、音频数据的编码相关。 ......
ASR项目实战-后处理
本文深入探讨后处理环节。 在本环节要处理的重要特性有分词、断句、标点符号、大小写、数字等的格式归一等。 分词 和NLP、搜索等场景下的分词含义不同。对于拼音类的语言，比如英语、法语等，句子由多个单词组成，语音输出的结果，需要按需在各个单词之间补充或者去掉空格。对于中文来说，字和词之间不以空格作为边界 ......
ASR项目实战-数据
使用机器学习方法来训练模型，使用训练得到的模型来预测语音数据，进而得到识别的结果文本，这是实现语音识别产品的一般思路。 本文着重介绍通用语音识别产品对于数据的诉求。 对数据的要求 训练集 相关要求，如下： 地域，需要覆盖使用人群所在的地域，且数据的比例适中。 口音，需要覆盖典型的口音。 年龄，从18 ......
ASR项目实战-构建Kaldi
准备工作 安装构建时依赖的基础软件 软件清单如下： bzip2 python3 automake libtool cmake gcc g++ gfortran git subversion 不同平台安装软件的方式不同，比如可以使用yum或者apt-get等。 下载开源软件 软件清单如下： Libun ......
ASR项目实战-语音识别
本文深入探讨语音识别处理环节。 本阶段的重点特性为语音识别、VAD、热词、文本的时间偏移、讲话人的识别等。 语音识别 业界流派众多，比如Kaldi、端到端等，具体选择哪一种，需要综合考虑人员能力、训练数据量和质量、硬件设施、交付周期等，作出相对合理的交付规划。 基于Kaldi的方案，优点在于其发挥稳 ......
在k8s中快速搭建基于Prometheus监控系统
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享 前言 K8s本身不包含内置的监控工具，所以市场上有不少这样监控工具来填补这一空白，但是没有一个监控工具有prometheus全家桶使用率高，因为它由 CNCF维护，已经成为了监控 k8s 集群的事实上的行业标准，下面介绍一下 ......
JVM-实战篇-GC调优
1 GC调优 GC调优指的是对垃圾回收进行调优。GC调优的主要目标是避免由垃圾回收引起的程序性能下降。 GC调优的核心分为三部分： 通过JVM参数的设置； 特定垃圾回收器的JVM参数的设置； 解决由频繁的FULLGC引起的程序性能问题。 GC调优没有唯一的标准答案，重点学习调优的工具和方法。 2 G ......
k8s patch测试
1.编写patch.sh，下文件为yaml 文件模板 # 用户名 username=bqadm # 是否挂载可写目录 iswrite="true" container_name=$(kubectl -n bigquant get $(kubectl get deployment -l usernam ......
k8s常用命令操作
获取所有节点的污点信息 kubectl get nodes -o='custom-columns=NodeName:.metadata.name,TaintKey:.spec.taints[*].key,TaintValue:.spec.taints[*].value,TaintEffect:.sp ......
JVM-实战篇-内存调优
1 内存溢出和内存泄漏 概念：内存泄漏：在Java中如果不在使用一个对象，但是该对象依然在GC ROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。 内存泄漏绝大多数情况都是由堆内存泄漏引起的，所以后续没特殊说明讨论的均为堆内存泄漏。 若持续发生内存泄漏，不管有多大的内存迟 ......
记一次对某杀猪盘站点的实战渗透
前言昨天半夜看到一篇文章 某菠菜网站渗透实战就想着自己也练一练手，打到一半发现，大师傅们对这类站点已经狠狠的蹂躏了，所以借鉴师傅们的经验，本着锻炼一下，想到哪就记一下，所以写的比较杂乱，其中有没有解决的地方也记录下来的，然后又换了个站点接着走了下去信息收集前台这样看一下其他的信息端口查询80为主页面 ......
ngix+keepalived+k8s
一.nginx的安装 1.nginx安装包下载 在官网 https://nginx.org/en/download.html下载linux的tar包选择合适的版本如https://nginx.org/download/nginx-1.24.0.tar.gz 2.安装依赖 yum install gc ......
【工具篇】Kali下beef实战详细教程
一、beef安装 第一步：安装beef 1.首先输入命令进行安装. apt-get install beef-xss 发现安装不了，但是有提示. 2.根据提示进行输入命令. apt-get update 3.再输入命令进行安装. apt-get install beef-xss 4.直接运行Beef ......
盘点一个Python自动化办公实战案例（四）
大家好，我是皮皮。 一、前言 前几天在Python最强王者交流群【钟爱一生】问了一个Python自动化办公的问题，一起来看看吧。 【温馨提示】 遇到表达不清的，能稍微描述下，想要达成的结果吗？在excel上，或者画图也行。最好是把你想要的结果展示在excel中，另外，你展示的这个表格最好做个小的de ......
k8s限速队列不通过Get方法判断队列是否关闭
go.mod module use-k8s-queue go 1.19 require k8s.io/client-go v0.28.2 require ( github.com/go-logr/logr v1.2.4 // indirect golang.org/x/time v0.3.0 // ......
关于 K8s 的一些基础概念整理
〇、前言 Kubernetes，将中间八个字母用数字 8 替换掉简称 k8s，是一个开源的容器集群管理系统，由谷歌开发并维护。它为跨主机的容器化应用提供资源调度、服务发现、高可用管理和弹性伸缩等功能。 下面简单列一下 k8s 的几个特性： 自动化部署：Kubernetes 可以根据应用程序计算资源需 ......
高楼《性能测试实战30讲》笔记整理
注意：因为是笔记，我也结合了具体工作中遇到的情况，穿插了很多自己的理解，所以某些点并非完全和原作者的结构、描述一样。 【性能测试的分类】 1、压力测试：关注点在于系统在峰值负载或超出最大负荷时的处理能力如何。如果继续加压，性能应该按预期缓慢下降，但不应直接崩溃；如果崩溃，找到它的临界点，从而了解系统 ......
什么是k8s中的LimitRange(资源限制范围)？和ResourceQuotas（资源配额）的区别是什么？
LimitRange LimitRange（资源限制范围） 是一种用于定义容器中资源限制的机制。 它允许集群管理员为命名空间中的对象（例如 Pod 或容器）设置资源限制，以控制它们可以使用的 CPU、内存和存储等资源的数量。 LimitRange 的主要目的是为了确保容器在使用资源时不会无限制地增长 ......
Go sync 包解析与实战
在并发世界中，Go语言以其原生的并发特性脱颖而出。Go的sync包提供了基本的同步原语，如互斥锁(sync.Mutex)、等待组(sync.WaitGroup)等，能够帮助开发者在并发环境下编写更安全、更可靠的代码。本文将深入剖析sync包的核心组件，并通过实例演示其在Go并发程序中的实际应用。 从 ......
爬虫实战-微博评论爬取
简介 最近在做NLP方面的研究，以前一直在做CV方面。最近由于chatgpt，所以对NLP就非常感兴趣。索性就开始研究起来了。 其实我们都知道，无论是CV方向还是NLP方向的模型实现，都是离不开数据的。哪怕是再先进的代码，都是需要数据支撑的。但是我们的数据都来自哪里呢。无非就两个方面，一方面是来自于 ......
k8s学习
容器化技术优点: 1.自我修复 2.弹性伸缩 3.服务发现 4.负载均衡 5.版本回退 6.存储编排 k8s构成: 1.控制节点:集群的控制平面,负责集群的决策 1>ApiServer 2>Schedule 3>ControllerManager 4>Etcd 2.工作节点:集群的数据平面,负责为容 ......
k8s 1.22.12 + kubeedge 1.12.1 离线部署指南
摘要：由于MEF需要用户提供开源的k8s和kubeedge环境，实验室内网代理配置复杂，以下提供通过离线包的形式安装kubenetes 1.22.12+kubeedge 1.12.1 的指南 kubenetes 1.22.12+kubeedge 1.12.1 离线手动安装指南 k8s 1.19.16 ......
阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战
本文基于 ACK 稳定性保障实践经验，帮助用户全面理解 ACK 稳定性理论和优化策略，并了解如何使用相应的工具和服务进行稳定性保障。 ......
一个完整Python实战项目：selenium识别验证码实现自动登录，自动操作浏览器获取某东数据
最近都没啥时间，很久没更新了。 今天分享一下，如何用selenium识别验证码，实现自动登录以及获取数据。 目标：某东 话不多说直接开始 准备工作 环境 Python 3.10 Pycharm 模块使用 import random import time from selenium import w ......
K8s中下线Hadoop节点（节点下线，调整副本数）
K8s中下线Hadoop节点（节点下线，调整副本数） 将Hadoop从三副本修改为双副本，同时修改datanode和nodemanager节点数为2 修改hadoop节点副本数和datanode以及yarn nodemanager节点数： hadoop.hdfs.replication=2 hado ......
k8s 安装kubesphere3.4.1 多次安装报错 Error from server (InternalError): Internal error occurred: failed calling webhook \“users.iam.kubes
failed: [localhost] (item={'ns': 'kubesphere-system', 'kind': 'users.iam.kubesphere.io', 'resource': 'admin', 'release': 'ks-core'}) => {"ansible_loop ......