集群 可靠性kubernetes实战
AutoGPT实战
1.概述 人工智能（AI）的能力持续在全球范围内引起轰动，并对我们日常生活和职业生涯带来重大变革。随着像ChatGPT这样的先进生成型AI模型以及从GPT-3到GPT-4的加速，我们在高级推理、理解更长上下文和输入设置方面看到了重大改进。像ChatGPT这样的工具要求用户编写Prompt，以获得所需 ......
ASR项目实战-架构设计
一般而言，业务诉求作为架构设计的输入。 需求清单 对于语音识别产品而言，需满足的需求，举例如下： 功能需求 文件转写。 长文件转写，时长大于60秒，小于X小时，X可以指定为5。 短文件转写，时长小于60秒。 实时语音识别。 长语音识别，时长大于60秒，小于Y小时，Y可以指定为5。 短语音识别，时长小 ......
ASR项目实战-项目交付历程
本文记录，作为项目主要负责人，完整参与语音识别项目的交付历程。 2019年12月中旬 接到项目交付任务，收集基本知识，启动业务分析工作。 2020年1月 完成竞品分析的整理。 梳理合作伙伴的清单，整理项目计划，启动和各合作伙伴的沟通工作。 启动架构方案、设计方案的准备工作。 2020年2月 和合作伙 ......
ASR项目实战-交付团队的分工
对于通常的软件项目，参与角色，比如可以有用户，消费者，产品团队，研发团队（研发团队包括开发和测试），运营团队，运维团队，管理团队。 通常认为，用户，负责购买服务的群体，而消费者，负责使用业务的群体。这两个群体，不在本文的讨论范围之内，因此后续的介绍中，除非明确说明，否则默认均不涉及。 产品团队，研发 ......
ASR项目实战-产品分析
分析Google、讯飞、百度、阿里、QQ、搜狗等大厂的ASR服务，可以罗列出一款ASR服务所需要具备的能力。 产品分类 ASR云服务产品，从用户体验、时效性、音频时长，可以划分为如下几类： 实时短音频转写，可以用于支撑输入法、搜索、导航等场景。 实时长音频转写，可以用于支撑视频字幕、图文直播、会议直 ......
ASR项目实战-前处理
本文深入探讨前处理环节。 首先介绍一些基本的名词，比如 文件名后缀 文件格式 音频格式 采样率和位深 预备知识 文件名后缀、文件格式和音频格式 常见的音频文件，比如.wav、.mp3、.m4a、.wma等，这些都代表什么？ 仅仅是这类音频文件的后缀而已，不一定和音频文件的编码、音频数据的编码相关。 ......
ASR项目实战-后处理
本文深入探讨后处理环节。 在本环节要处理的重要特性有分词、断句、标点符号、大小写、数字等的格式归一等。 分词 和NLP、搜索等场景下的分词含义不同。对于拼音类的语言，比如英语、法语等，句子由多个单词组成，语音输出的结果，需要按需在各个单词之间补充或者去掉空格。对于中文来说，字和词之间不以空格作为边界 ......
Docker部署系列之Docker Compose安装Redis三主三从集群
总结/朱季谦 在日常开发或者编程当中，经常需要用到redis集群，若是按照传统的方式，一个机器一个机器搭建，难免过于繁琐，故而可以通过dock er-compose编排方式，快速搭建。我在搭建过程当中，将操作记录下来，方便以后需要搭建三主三从节点时，可以基于以前的成功经验，快速搭建起来。 一、环境准 ......
ASR项目实战-数据
使用机器学习方法来训练模型，使用训练得到的模型来预测语音数据，进而得到识别的结果文本，这是实现语音识别产品的一般思路。 本文着重介绍通用语音识别产品对于数据的诉求。 对数据的要求 训练集 相关要求，如下： 地域，需要覆盖使用人群所在的地域，且数据的比例适中。 口音，需要覆盖典型的口音。 年龄，从18 ......
ASR项目实战-构建Kaldi
准备工作 安装构建时依赖的基础软件 软件清单如下： bzip2 python3 automake libtool cmake gcc g++ gfortran git subversion 不同平台安装软件的方式不同，比如可以使用yum或者apt-get等。 下载开源软件 软件清单如下： Libun ......
ASR项目实战-语音识别
本文深入探讨语音识别处理环节。 本阶段的重点特性为语音识别、VAD、热词、文本的时间偏移、讲话人的识别等。 语音识别 业界流派众多，比如Kaldi、端到端等，具体选择哪一种，需要综合考虑人员能力、训练数据量和质量、硬件设施、交付周期等，作出相对合理的交付规划。 基于Kaldi的方案，优点在于其发挥稳 ......
高可靠性的F2915NBGK8、F2914NBGK8射频开关，MAAL-011078-001SMB具有超低噪声系数的射频放大器
F2915NBGK8、F2914NBGK8是高可靠性射频开关IC，而MAAL-011078-001SMB是一款高动态范围、单级MMIC LNA射频放大器。 ......
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单 ......
JVM-实战篇-GC调优
1 GC调优 GC调优指的是对垃圾回收进行调优。GC调优的主要目标是避免由垃圾回收引起的程序性能下降。 GC调优的核心分为三部分： 通过JVM参数的设置； 特定垃圾回收器的JVM参数的设置； 解决由频繁的FULLGC引起的程序性能问题。 GC调优没有唯一的标准答案，重点学习调优的工具和方法。 2 G ......
JVM-实战篇-内存调优
1 内存溢出和内存泄漏 概念：内存泄漏：在Java中如果不在使用一个对象，但是该对象依然在GC ROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。 内存泄漏绝大多数情况都是由堆内存泄漏引起的，所以后续没特殊说明讨论的均为堆内存泄漏。 若持续发生内存泄漏，不管有多大的内存迟 ......
记一次对某杀猪盘站点的实战渗透
前言昨天半夜看到一篇文章 某菠菜网站渗透实战就想着自己也练一练手，打到一半发现，大师傅们对这类站点已经狠狠的蹂躏了，所以借鉴师傅们的经验，本着锻炼一下，想到哪就记一下，所以写的比较杂乱，其中有没有解决的地方也记录下来的，然后又换了个站点接着走了下去信息收集前台这样看一下其他的信息端口查询80为主页面 ......
一步一步教你写kubernetes sidecar
本文分享自华为云社区《一步一步教你写kubernetes sidecar》，作者： 张俭。 什么是sidecar？ sidecar，直译为边车。 如上图所示，边车就是加装在摩托车旁来达到拓展功能的目的，比如行驶更加稳定，可以拉更多的人和货物，坐在边车上的人可以给驾驶员指路等。边车模式通过给应用服务加 ......
华为云CCE集群健康中心：一个有专家运维经验的云原生可观测平台
本文分享自华为云社区《新一代云原生可观测平台之华为云CCE集群健康中心》，作者：云容器大未来。 "Kubernetes运维确实复杂，这不仅需要深入理解各种概念、原理和最佳实践，还需要对集群的健康状态、资源利用率、容器的稳定性等多个方面进行风险评估。当集群出现故障时，我们通常需要花费大量时间来分析各种 ......
【工具篇】Kali下beef实战详细教程
一、beef安装 第一步：安装beef 1.首先输入命令进行安装. apt-get install beef-xss 发现安装不了，但是有提示. 2.根据提示进行输入命令. apt-get update 3.再输入命令进行安装. apt-get install beef-xss 4.直接运行Beef ......
盘点一个Python自动化办公实战案例（四）
大家好，我是皮皮。 一、前言 前几天在Python最强王者交流群【钟爱一生】问了一个Python自动化办公的问题，一起来看看吧。 【温馨提示】 遇到表达不清的，能稍微描述下，想要达成的结果吗？在excel上，或者画图也行。最好是把你想要的结果展示在excel中，另外，你展示的这个表格最好做个小的de ......
elasticsearch安装部署（单机和集群）
一、单机模式 1、单机模式，下载对应es包，此次使用版本为7.8.0版本并解压 -rw-r--r--. 1 root root 319112561 12月 28 15:39 elasticsearch-7.8.0-linux-x86_64.tar.gzmkdir es_standalonemv el ......
高楼《性能测试实战30讲》笔记整理
注意：因为是笔记，我也结合了具体工作中遇到的情况，穿插了很多自己的理解，所以某些点并非完全和原作者的结构、描述一样。 【性能测试的分类】 1、压力测试：关注点在于系统在峰值负载或超出最大负荷时的处理能力如何。如果继续加压，性能应该按预期缓慢下降，但不应直接崩溃；如果崩溃，找到它的临界点，从而了解系统 ......
Go sync 包解析与实战
在并发世界中，Go语言以其原生的并发特性脱颖而出。Go的sync包提供了基本的同步原语，如互斥锁(sync.Mutex)、等待组(sync.WaitGroup)等，能够帮助开发者在并发环境下编写更安全、更可靠的代码。本文将深入剖析sync包的核心组件，并通过实例演示其在Go并发程序中的实际应用。 从 ......
爬虫实战-微博评论爬取
简介 最近在做NLP方面的研究，以前一直在做CV方面。最近由于chatgpt，所以对NLP就非常感兴趣。索性就开始研究起来了。 其实我们都知道，无论是CV方向还是NLP方向的模型实现，都是离不开数据的。哪怕是再先进的代码，都是需要数据支撑的。但是我们的数据都来自哪里呢。无非就两个方面，一方面是来自于 ......
记录一次 OpenStack 集群在创建虚机后无法获取 IP 的问题
现象 所有的组件状态都是正常工作的，DHCP 服务正常工作，在个个虚拟网络设备端口抓包，发现 OpenVSwitch 上 DHCP 包可以通行，虚机获取 DHCP Discover 请求可以正常发出，但是无法收到回包。 抓包命令 tcpdump -i eth0 udp port 67 or port ......
阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战
本文基于 ACK 稳定性保障实践经验，帮助用户全面理解 ACK 稳定性理论和优化策略，并了解如何使用相应的工具和服务进行稳定性保障。 ......
使用容器快速在阿里云 ECS 多节点上搭建 Citus 12.1 集群
阿里云 ECS 机器节点 这里我们使用两台同一区域的 ECS 机器。 机器配置：2 核 2 G。(ps: 阿里云 99 元一年的活动) 一台安装 coordinator(协调器)，这里内网 IP 为 172.18.60.11 一台安装 worker，这里内网 IP 为 172.18.60.12 操作 ......
死锁、内部碎片、外部碎片、多进程/多线程、服务器高并发、集群
死锁：两个（多个）线程互相等待对方数据的过程 1.死锁产生条件（解决办法）： 🔴 互斥条件：所需求的资源具有排他性，其他请求进程只能等待（可以允许多进程、多线程访问） 🔴 不剥夺条件：未主动释放，不能被其他进程夺走（可以强制剥夺） 🔴 请求和保持：进程或线程至少持有一个资源，并且在等待其他资源 ......
一个完整Python实战项目：selenium识别验证码实现自动登录，自动操作浏览器获取某东数据
最近都没啥时间，很久没更新了。 今天分享一下，如何用selenium识别验证码，实现自动登录以及获取数据。 目标：某东 话不多说直接开始 准备工作 环境 Python 3.10 Pycharm 模块使用 import random import time from selenium import w ......