实战 功能 工具 数据
《中国人民银行业务领域数据安全管理办法》与个人信息保护关键技术研究 | 京东云技术团队
在大数据环境下，通过个人用户网络活动产生的数据，可以清晰地分析出用户的年龄、职业、行为规律和兴趣爱好。特别是随着电子商务和移动网络的应用和普及，个人用户的地址、联系方式和银行账户信息也可以通过大数据挖掘或网络爬虫等手段获取。因此，个人信息安全管理压力增大，用户个人信息泄露事件时有发生。莫名其妙的销售 ......
记一次BC推广渗透实战
0x00 信息搜集朋友给了我一个站，算一个比较大的bc，主站看了一下，没有入口，就换了他的一个推广平台然后首先大致扫了一下目录，希望可以看见一些有用的东西。这个时候我可以推荐大家一个接口，可以快速大致看看他重要的文件https://scan.top15.cn/web/infoleak例如探针，网站源 ......
一键式调试工具—Reqable 使用指南
简介 Reqable是一款跨平台的专业HTTP开发和调试工具，在全平台支持HTTP1、HTTP2和HTTP3(QUIC)协议，简单易用、功能强大、性能高效，助力程序开发和测试人员提高生产力！本产品需要一定的网络基础知识，适合开发、测试、网络、安全、爬虫等工程专业人员使用，或者在专业人员的指导下使用。 ......
Go 工具链详解（五）：竞态条件检测神器 Race Detector
Go 工具链详解（五）：竞态条件检测神器 Race Detector 原创 路多辛 路多辛 2023-12-13 21:49 发表于上海 听全文 并发编程可以提高程序的性能和稳定性，但也带来了一些挑战，如竞态条件。竞态条件是指并发程序中的多个线程同时访问共享资源，导致程序行为不确定的问题。为了避免竞 ......
记一次帮助粉丝渗透某盘反诈骗的实战
0X00 事情由来了解完事情的经过，经过我的经验判断，这应该是个杀猪诈骗案例诈骗份子通过一些手段让受害人相信，通过他们可以赚钱并诱导充值杀猪盘赌博0X01 渗透过程-大概二十分钟左右就拿下了渗透过程简单枯燥：看了一眼IP和端口，判断了下应该不存在云waf，直接开始扫目录过了几分钟扫到一个http:/ ......
vivo 数据库备份恢复系统演化
作者：vivo 互联网数据库团队 - Han Chaobing 介绍 vivo 数据库备份恢复功能的演化，以及对备份文件的功能扩展。 一、概述 vivo互联网领域拥有的数据库组件分别为 MySQL、MongoDB、TiDB 等，其中MySQL集群占比绝大部分， MongoDB 集群占比小部分， Ti ......
前后端数据传输的编码格式
前后端数据传输的编码格式（contentType） # 前后端传输的时候请求方式有两种： GET,POST # 我们只研究POST请求的编码格式： POST的三种编码格式：urlencoded、form-data、json # 有哪些方式可以发送POST请求？ form表单、Ajax、postman ......
Django中对数据的改、删、查
如何动态的展示我们的数据 1、先获取到数据库中的信息内容 def user_info(request): userinfo_all = models.user_info.objects.all() # 获取所有的用户对象 # <QuerySet [<user_info: user_info obje ......
数据导出为excel，并压缩成zip文件夹
/** * 生成企业数据 excel .xlsx格式 并压缩 zip格式 * @param response */ @Override public void exportEnterprise(HttpServletResponse response) { // 1.得到企业数据 List<Dept ......
poi导出工具类
前言 之前的一篇文章已经介绍了POI导入的工具类，然后有小伙伴私信我说能不能整理一个POI导出的工具类。现在它来了！！！ 如果有小伙伴不知道POI导入的工具类，可以看我上篇文章：POI导入工具类 现在我们言归正传，直接开始 工具类 POI导出工具类 public class DownLoadExce ......
银行业绩数据监控大屏：金融领域的智慧之眼
银行业绩数据监控大屏作为一种新型的管理工具，正逐渐改变传统银行业的运营模式。通过实时监控、深入分析、预测未来、协同工作和保障安全等功能，大屏为银行管理者和员工提供全面的数据支持和服务。在金融市场的激烈竞争中，银行业绩数据监控大屏将成为银行驾驭金融海洋的重要航标，引领银行业稳健前行。 ......
【积微成著】性能测试调优实战与探索（存储模型优化+调用链路分析）| 京东物流技术团队
一、前言 性能测试之于软件系统，是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线，系统能力设计工作与性能测试工作，既有先后之顺序，亦有相互之影响。以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。 在性 ......
腾讯数据集成工具报告
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 ......
大数据生态组件WEB UI地址汇总
(1) Hadoop Web UI http://master-1:50070/dfshealth.html#tab-overview (2) YARN应用Web UI http://master-1:8088/ (3) Spark Web UI http://master-1:18089/ (4) ......
[node]npx工具
npx是npm5.2之后自带的一个命令。 npx的作用非常多，但是比较常见的是使用它来调用项目中的某个模块的指令。 以webpack为例： 全局安装的是webpack5.1.3项目安装的是webpack3.6.0 如果我在终端执行 webpack --version使用的是哪一个命令呢？ 显示结果会 ......
CRM管理系统有哪些功能？客户管理系统主要功能解析
想要在波诡云谲的商业世界中立足，企业就必须要建立并培育牢固的客户关系。在管理和维护客户的方面，CRM管理系统可谓是发挥了重要作用，它是一款能够帮助企业管理客户互动、优化销售漏斗并培养客户忠诚度的强大工具。CRM客户关系管理系统的主要功能包括联系人管理、销售流程管理、营销自动化、客户服务支持、数据分析 ......
CRM除了客户管理还能做些什么？CRM管理系统功能解析
如今的市场就好比战场，客户就是我们手里的武器，客户关系更是企业的命脉。然而，有效管理客户关系不仅仅是记住他们的姓名和电话号码。因此，CRM管理系统的应运而生，超越了其最初对“客户管理”的狭隘定义，成为推动企业成功的强大引擎。虽然客户管理仍然是CRM系统的基础功能，但如今CRM系统提供的功能远不止简单 ......
【FMC211】基于VITA57.1的16路LVDS数据采集、1路光纤数据收发处理平台
板卡概述 FMC211是一款基于VITA57.1标准规范的实现16路LVDS数据采集、1路光纤数据收发处理FMC子卡模块。 该板卡支持2路CVBS（复合视频）视频输入，能够自动检测标准的模拟基带电视信号，并将其转变为8位ITU-R.656接口信号或者4:2:2分量视频信号。 该板卡支持2路标清（SD ......
scrum管理工具大全汇总
Leangoo领歌 Leangoo领歌一款永久免费的敏捷研发管理工具。提供私有部署。 Leangoo领歌覆盖了敏捷研发全流程，它提供端到端敏捷研发管理解决方案，包括小型团队敏捷开发，规模化敏捷SAFe，Scrum of Scrums大规模敏捷，涵盖敏捷需求管理、任务协同、进展跟踪、缺陷管理、统 ......
Iceberg元数据合并-metadata.json文件
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable ......
同步工具-调研对比
一、同步工具简介 1、腾讯数据集成产品：数据集成（DataInLong）源于腾讯开源并孵化成功的 ASF 顶级项目 Apache InLong（应龙），支持一站式跨云跨网数据同步 产品文档：https://cloud.tencent.com/document/product/1580/73382 2 ......
同步工具-SeaTunnel使用
一、介绍 SeaTunnel 是一个非常好用、超高性能的分布式数据集成平台，架构于 Apache Spark 和 Apache Flink 之上，实现了海量数据的实时同步与转换。每天可以稳定高效地同步数百亿数据，目前已接近百家公司在生产上使用 依赖环境：Spark3.2.1、FLink 运行服务器： ......
一文带你了解内外网数据摆渡系统！
全球数字化浪潮下，数据安全永远是被关注的焦点和重点课题。总之，不管是什么规模和类型的企业，都需要建立一套适合自身的数据安全保护体系和机制，保护核心数据，提升企业核心竞争力。网络隔离可以很好的对企业的核心数据起到保护作用，是众多科技研发型企业在进行网络安全建设中的首选方式，隔离之后，在选择一套安全可靠 ......
同步工具-Oceanus打通mysql到Iceberg
一、服务配置 已配置好gt_oneline_2，其它集群还需按照下面方式特殊配置 1、需要腾讯Oceanus同学在后端修改高途flink集群配置core-site.xml文件，增加如下配置。只能绑定一个chdfs环境，这边绑定的测试环境，线上环境需要改qcloud.object.storage.zk ......
大数据开发的总体架构
很多小伙伴在学习了多年大数据后，最后不得不感慨：“大数据的知识太繁杂了，我已经被淹没在大数据的海洋里了！”确实是的，在大数据学习的过程中，随着学习的深入，越来越多的新名词和新框架让学习者有种欲哭无泪的感觉，那么，这篇博文就对大数据开发的一个总体架构做一个介绍吧，让大家学习过程中，不至于迷失方向。先上 ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
【Linux】用Xshell通过SSH连接ubuntu报错“服务器发送了一个意外的数据包”
安装了Ubuntu20.04， 安装了ssh：sudo apt-get install ssh 想用Xshell通过SSH连接，结果报错：“服务器发送了一个意外的数据包”，如下图所示： ①在/etc/ssh/sshd_config配置文件最后面添加下面一行： KexAlgorithms curve2 ......
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
安全数据交换系统：大幅提升网间文件交换能力
各级政府部门和金融、能源、电力这些行业，以及一些大中型企业组织，为了保护内部的重要数据不外泄，普遍都采用了多网络并行的方式，也是做了网络隔离划分，不同的网络拥有不同的密级以及人员权限。然后再通过安全数据交换系统来进行跨网络、跨区域的文件数据交互，解决“数据孤岛”的问题。 然后，要解决网络隔离下的数据 ......
向量数据库~milvus
本文主要基于milvus官方的材料外加自己的一些理解整理而来，欢迎交流 设计理念 云原生：存&算分离; 读写分离; 增量存量分离; 微服务架构，极致弹性； 日志即数据：通过message queue解耦生产者、消费着，降低系统复杂度; 提升index、data、query模块弹性; 流批一体：表和日 ......