神器 实战arthas jvm
记一次帮助粉丝渗透某盘反诈骗的实战
0X00 事情由来了解完事情的经过，经过我的经验判断，这应该是个杀猪诈骗案例诈骗份子通过一些手段让受害人相信，通过他们可以赚钱并诱导充值杀猪盘赌博0X01 渗透过程-大概二十分钟左右就拿下了渗透过程简单枯燥：看了一眼IP和端口，判断了下应该不存在云waf，直接开始扫目录过了几分钟扫到一个http:/ ......
【积微成著】性能测试调优实战与探索（存储模型优化+调用链路分析）| 京东物流技术团队
一、前言 性能测试之于软件系统，是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线，系统能力设计工作与性能测试工作，既有先后之顺序，亦有相互之影响。以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。 在性 ......
面试官：说说JVM内存整体结构？
Java JVM内存结构的面试常问知识 说说JVM内存整体的结构？线程私有还是共享的？ JVM 整体架构，中间部分就是 Java 虚拟机定义的各种运行时数据区域。 Java 虚拟机定义了若干种程序运行期间会使用到的运行时数据区，其中有一些会随着虚拟机启动而创建，随着虚拟机退出而销毁。另外一些则是与线 ......
JVM大页内存的学习与使用
JVM大页内存的学习与使用 原理和背景 操作系统是计算机的重要组成部分. 现代的操作系统一般都采用 段页式内存管理. 段一般是为了管理和权限 页主要是为了虚拟内存和物理内存的映射. 分页管理可以让物理上不连续的内存在程序看来是逻辑地址连续的. 但是这也意味着分页分页内存管理需要有一个虚拟内存和物理内 ......
DeepSpeed 学习 [2]: 从 0 开始 DeepSpeed 实战
从 0 开始 DeepSpeed 实战，Get Start 目录从 0 开始 DeepSpeed 实战，Get StartDDP 初探Minimum DDP ExampleMULTI GPU TRAINING WITH DDP (Single to Multi)Install初始化TrainingM ......
【JVM】一文掌握JVM垃圾回收机制
作为Java程序员，除了业务逻辑以外，随着更深入的了解，都无法避免的会接触到JVM以及垃圾回收相关知识。JVM调优是一个听起来很可怕，实际上很简单的事。 感到可怕，是因为垃圾回收相关机制都在JVM的C++层实现，我们在Java开发中看不见摸不着；而实际很简单，是因为它说到底，也只是JVM替我们实现的 ......
2023CANN训练营第2季————Ascend C算子Tiling切分原理与实战
使用Ascend C进行昇腾AI芯片算子开发，开发者仅需要把关注点放在数据切分和计算逻辑实现上。固定shape算子切分相对简单，动态shape的算子需要如何去实现呢？本篇笔记从复习切分的基本概念出发，讲述了一种动态shape的切分方法，并编程进行了验证。 ......
vue 2实战系列 —— 复习Vue
复习Vue 近期需要接手 vue 2的项目，许久未写，语法有些陌生。本篇将较全面复习 vue 2。 Tip: 项目是基于 ant-design-vue-pro ant-design-vue-pro 由于 cms 是基于这个项目开发的，所以笔者就将其下载下来。 下载后运行 // 按照依赖 yarn i ......
使用 JVM 进程缓存 Caffeine
使用 JVM 进程缓存的优点就是没有网络开销，性能速度最快；缺点就是容量有限，无法共享；比较适合性能要求高，缓存数据量小的场景。如果我们自己实现 JVM 进程缓存的话，会使用到 Map 数据类型，相关的过期移除策略以及容量控制都得自己实现，比较麻烦。Caffeine 是一个基于 Java8 开发的提 ......
ASR项目实战-任务队列在文件转写特性中的应用
转写时长超出60秒的语音文件，业界的竞品通常会使用创建异步转写任务的方式来提供支持。 一个简单、直接的实现方案，即： 网关服务接收到来自客户的转写请求时，将任务信息持久化至任务队列中。 由算法服务的实例从任务队列中提取任务，并执行转写操作。 待执行完毕之后，将转写结果保存至DB中，供调用方查询。 本 ......
Line多开神器，解决你的多账号问题
Line多开神器：解决多账号问题的利器 导语：在现代社交媒体时代，我们经常需要同时管理多个社交账号。然而，许多应用程序并不支持多账号登录，这给我们带来了不便。幸运的是，有一款名为Line多开神器的工具问世，它能够轻松解决我们的多账号问题，提供便捷的社交体验。 第一段：多账号管理的挑战 随着社交媒体的 ......
【xss实战】BurpSuite-XssValidator插件 -xss自动化测试
所需软件： 1、burpsuite 2、xssvalidator 源码：https://github.com/nVisium/xssValidator（按照编译指导编译） burpsuite_BApp：https://portswigger.net/bappstore/bapps/download/ ......
JVM如何线上调优?
晚上8点是我和们的业务高峰，—到高峰的时候，发现TP8的蚝时会变高，有明显的手剩，通过排查发现内存使用率也会增大，然后再释放，其他各项指标证正常，于是怀疑是GC导致的，观察服务器的GC情况，发现yongGC情况如下，大概每5分钟，GC55次，峰值最高可以达到20次。FiulGC比较频繁，每5分钟大概 ......
ASR项目实战-方案设计
对于语音识别产品的实施方案，给出简易的业务流程，仅供参考。 如下流程图，可以使用如下两个站点查看。 web chart Web Sequence Diagrams 文件转写 创建文件转写任务 客户应用->接入网关: 发送创建文件转写的请求 接入网关->安全网关: 转发请求 安全网关->安全网关: 对 ......
ASR项目实战-决策点
针对语音识别的产品，分别记录设计、开发过程中的决策点。 实时语音识别 对于实时语音识别来说，客户端和服务端之间实时交换语音数据和识别的结果。 客户端在启动识别时，即开始发送语音数据，期望在等待较短的时间后，即收到最初的识别结果。第一段语音数据和第一个识别结果之间的时延，一般称为首字时延。 客户端在停 ......
AutoGPT实战
1.概述 人工智能（AI）的能力持续在全球范围内引起轰动，并对我们日常生活和职业生涯带来重大变革。随着像ChatGPT这样的先进生成型AI模型以及从GPT-3到GPT-4的加速，我们在高级推理、理解更长上下文和输入设置方面看到了重大改进。像ChatGPT这样的工具要求用户编写Prompt，以获得所需 ......
ASR项目实战-架构设计
一般而言，业务诉求作为架构设计的输入。 需求清单 对于语音识别产品而言，需满足的需求，举例如下： 功能需求 文件转写。 长文件转写，时长大于60秒，小于X小时，X可以指定为5。 短文件转写，时长小于60秒。 实时语音识别。 长语音识别，时长大于60秒，小于Y小时，Y可以指定为5。 短语音识别，时长小 ......
ASR项目实战-项目交付历程
本文记录，作为项目主要负责人，完整参与语音识别项目的交付历程。 2019年12月中旬 接到项目交付任务，收集基本知识，启动业务分析工作。 2020年1月 完成竞品分析的整理。 梳理合作伙伴的清单，整理项目计划，启动和各合作伙伴的沟通工作。 启动架构方案、设计方案的准备工作。 2020年2月 和合作伙 ......
ASR项目实战-交付团队的分工
对于通常的软件项目，参与角色，比如可以有用户，消费者，产品团队，研发团队（研发团队包括开发和测试），运营团队，运维团队，管理团队。 通常认为，用户，负责购买服务的群体，而消费者，负责使用业务的群体。这两个群体，不在本文的讨论范围之内，因此后续的介绍中，除非明确说明，否则默认均不涉及。 产品团队，研发 ......
ASR项目实战-产品分析
分析Google、讯飞、百度、阿里、QQ、搜狗等大厂的ASR服务，可以罗列出一款ASR服务所需要具备的能力。 产品分类 ASR云服务产品，从用户体验、时效性、音频时长，可以划分为如下几类： 实时短音频转写，可以用于支撑输入法、搜索、导航等场景。 实时长音频转写，可以用于支撑视频字幕、图文直播、会议直 ......
ASR项目实战-前处理
本文深入探讨前处理环节。 首先介绍一些基本的名词，比如 文件名后缀 文件格式 音频格式 采样率和位深 预备知识 文件名后缀、文件格式和音频格式 常见的音频文件，比如.wav、.mp3、.m4a、.wma等，这些都代表什么？ 仅仅是这类音频文件的后缀而已，不一定和音频文件的编码、音频数据的编码相关。 ......
ASR项目实战-后处理
本文深入探讨后处理环节。 在本环节要处理的重要特性有分词、断句、标点符号、大小写、数字等的格式归一等。 分词 和NLP、搜索等场景下的分词含义不同。对于拼音类的语言，比如英语、法语等，句子由多个单词组成，语音输出的结果，需要按需在各个单词之间补充或者去掉空格。对于中文来说，字和词之间不以空格作为边界 ......
ASR项目实战-数据
使用机器学习方法来训练模型，使用训练得到的模型来预测语音数据，进而得到识别的结果文本，这是实现语音识别产品的一般思路。 本文着重介绍通用语音识别产品对于数据的诉求。 对数据的要求 训练集 相关要求，如下： 地域，需要覆盖使用人群所在的地域，且数据的比例适中。 口音，需要覆盖典型的口音。 年龄，从18 ......
ASR项目实战-构建Kaldi
准备工作 安装构建时依赖的基础软件 软件清单如下： bzip2 python3 automake libtool cmake gcc g++ gfortran git subversion 不同平台安装软件的方式不同，比如可以使用yum或者apt-get等。 下载开源软件 软件清单如下： Libun ......
ASR项目实战-语音识别
本文深入探讨语音识别处理环节。 本阶段的重点特性为语音识别、VAD、热词、文本的时间偏移、讲话人的识别等。 语音识别 业界流派众多，比如Kaldi、端到端等，具体选择哪一种，需要综合考虑人员能力、训练数据量和质量、硬件设施、交付周期等，作出相对合理的交付规划。 基于Kaldi的方案，优点在于其发挥稳 ......
JVM-实战篇-GC调优
1 GC调优 GC调优指的是对垃圾回收进行调优。GC调优的主要目标是避免由垃圾回收引起的程序性能下降。 GC调优的核心分为三部分： 通过JVM参数的设置； 特定垃圾回收器的JVM参数的设置； 解决由频繁的FULLGC引起的程序性能问题。 GC调优没有唯一的标准答案，重点学习调优的工具和方法。 2 G ......
98秒转录2.5小时音频，最强音频翻译神器IFW下载部署
IFW是一款功能强大的音频翻译工具，具备高速转录能力，能在短时间内完成大量音频处理，提高工作效率 以下是IFW在 Nvidia A100 - 80GB 上运行的一些基准测试： 最新中文版：https://pan.baidu.com/s/1E_gcymuUT7FsHWq51dlhSQ?pwd=r0p4 ......
【Flink系列二十一】深入理解 JVM的类型加载约束，解决 Flink 类型加载冲突问题的通用方法
class ByteArrayDeserializer is not an instance of org.apache.kafka.common.serialization.Deserializer Debugging Classloading 类似的 X cannot be cast to X ......
JVM-实战篇-内存调优
1 内存溢出和内存泄漏 概念：内存泄漏：在Java中如果不在使用一个对象，但是该对象依然在GC ROOT的引用链上，这个对象就不会被垃圾回收器回收，这种情况就称之为内存泄漏。 内存泄漏绝大多数情况都是由堆内存泄漏引起的，所以后续没特殊说明讨论的均为堆内存泄漏。 若持续发生内存泄漏，不管有多大的内存迟 ......
记一次对某杀猪盘站点的实战渗透
前言昨天半夜看到一篇文章 某菠菜网站渗透实战就想着自己也练一练手，打到一半发现，大师傅们对这类站点已经狠狠的蹂躏了，所以借鉴师傅们的经验，本着锻炼一下，想到哪就记一下，所以写的比较杂乱，其中有没有解决的地方也记录下来的，然后又换了个站点接着走了下去信息收集前台这样看一下其他的信息端口查询80为主页面 ......