向量 数据库 数据
《中国人民银行业务领域数据安全管理办法》与个人信息保护关键技术研究 | 京东云技术团队
在大数据环境下，通过个人用户网络活动产生的数据，可以清晰地分析出用户的年龄、职业、行为规律和兴趣爱好。特别是随着电子商务和移动网络的应用和普及，个人用户的地址、联系方式和银行账户信息也可以通过大数据挖掘或网络爬虫等手段获取。因此，个人信息安全管理压力增大，用户个人信息泄露事件时有发生。莫名其妙的销售 ......
vivo 数据库备份恢复系统演化
作者：vivo 互联网数据库团队 - Han Chaobing 介绍 vivo 数据库备份恢复功能的演化，以及对备份文件的功能扩展。 一、概述 vivo互联网领域拥有的数据库组件分别为 MySQL、MongoDB、TiDB 等，其中MySQL集群占比绝大部分， MongoDB 集群占比小部分， Ti ......
前后端数据传输的编码格式
前后端数据传输的编码格式（contentType） # 前后端传输的时候请求方式有两种： GET,POST # 我们只研究POST请求的编码格式： POST的三种编码格式：urlencoded、form-data、json # 有哪些方式可以发送POST请求？ form表单、Ajax、postman ......
Django中对数据的改、删、查
如何动态的展示我们的数据 1、先获取到数据库中的信息内容 def user_info(request): userinfo_all = models.user_info.objects.all() # 获取所有的用户对象 # <QuerySet [<user_info: user_info obje ......
数据导出为excel，并压缩成zip文件夹
/** * 生成企业数据 excel .xlsx格式 并压缩 zip格式 * @param response */ @Override public void exportEnterprise(HttpServletResponse response) { // 1.得到企业数据 List<Dept ......
银行业绩数据监控大屏：金融领域的智慧之眼
银行业绩数据监控大屏作为一种新型的管理工具，正逐渐改变传统银行业的运营模式。通过实时监控、深入分析、预测未来、协同工作和保障安全等功能，大屏为银行管理者和员工提供全面的数据支持和服务。在金融市场的激烈竞争中，银行业绩数据监控大屏将成为银行驾驭金融海洋的重要航标，引领银行业稳健前行。 ......
腾讯数据集成工具报告
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 ......
大数据生态组件WEB UI地址汇总
(1) Hadoop Web UI http://master-1:50070/dfshealth.html#tab-overview (2) YARN应用Web UI http://master-1:8088/ (3) Spark Web UI http://master-1:18089/ (4) ......
【FMC211】基于VITA57.1的16路LVDS数据采集、1路光纤数据收发处理平台
板卡概述 FMC211是一款基于VITA57.1标准规范的实现16路LVDS数据采集、1路光纤数据收发处理FMC子卡模块。 该板卡支持2路CVBS（复合视频）视频输入，能够自动检测标准的模拟基带电视信号，并将其转变为8位ITU-R.656接口信号或者4:2:2分量视频信号。 该板卡支持2路标清（SD ......
Iceberg元数据合并-metadata.json文件
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable ......
一文带你了解内外网数据摆渡系统！
全球数字化浪潮下，数据安全永远是被关注的焦点和重点课题。总之，不管是什么规模和类型的企业，都需要建立一套适合自身的数据安全保护体系和机制，保护核心数据，提升企业核心竞争力。网络隔离可以很好的对企业的核心数据起到保护作用，是众多科技研发型企业在进行网络安全建设中的首选方式，隔离之后，在选择一套安全可靠 ......
大数据开发的总体架构
很多小伙伴在学习了多年大数据后，最后不得不感慨：“大数据的知识太繁杂了，我已经被淹没在大数据的海洋里了！”确实是的，在大数据学习的过程中，随着学习的深入，越来越多的新名词和新框架让学习者有种欲哭无泪的感觉，那么，这篇博文就对大数据开发的一个总体架构做一个介绍吧，让大家学习过程中，不至于迷失方向。先上 ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
【Linux】用Xshell通过SSH连接ubuntu报错“服务器发送了一个意外的数据包”
安装了Ubuntu20.04， 安装了ssh：sudo apt-get install ssh 想用Xshell通过SSH连接，结果报错：“服务器发送了一个意外的数据包”，如下图所示： ①在/etc/ssh/sshd_config配置文件最后面添加下面一行： KexAlgorithms curve2 ......
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
安全数据交换系统：大幅提升网间文件交换能力
各级政府部门和金融、能源、电力这些行业，以及一些大中型企业组织，为了保护内部的重要数据不外泄，普遍都采用了多网络并行的方式，也是做了网络隔离划分，不同的网络拥有不同的密级以及人员权限。然后再通过安全数据交换系统来进行跨网络、跨区域的文件数据交互，解决“数据孤岛”的问题。 然后，要解决网络隔离下的数据 ......
向量数据库~milvus
本文主要基于milvus官方的材料外加自己的一些理解整理而来，欢迎交流 设计理念 云原生：存&算分离; 读写分离; 增量存量分离; 微服务架构，极致弹性； 日志即数据：通过message queue解耦生产者、消费着，降低系统复杂度; 提升index、data、query模块弹性; 流批一体：表和日 ......
读算法霸权笔记09_信用数据的陷阱
1. 信用评级模型 1.1. 评估个人贷款违约风险的模型为FICO 1.1.1. 唯一评分参数就是贷款者的资产，主要依据是贷款者的债务负担和账单支付记录 1.1.2. 这种信用评分模型相对透明 1.1.3. 信用评分行业受政府管制 1.1.4. 信用评分系统的使用得到了广泛普及 1.2. 脸书就发明 ......
INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区
INFINI Labs 产品又更新啦~，包括 Console v1.14.0，Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区，修复已知 Bug 等。以下是本次更新的详细说明。 INFINI Console v1.14.0 INFINI Consol ......
处理不平衡数据的过采样技术对比总结
前言 本文对处理不平衡数据的过采样技术进行了对比总结。 本文转载自Deephub Imba 作者：Abdallah Ashraf 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教 ......
pandas替换数据 典型应用 replace
替换数据 replace方法可以对数据进行批量替换： s.replace(0, 5) # 将列数据中的0换为5 df.replace(0, 5) # 将数据中的所有0换为5 df.replace([0, 1, 2, 3], 4) # 将0～3全换成4 df.replace([0, 1, 2, 3], ......
使用Golang Validator包实现数据验证
使用Golang Validator包实现数据验证 原创 沙蒿 程序员的碎碎念 2024-01-01 08:20 发表于北京 听全文 引言 在开发过程中，数据验证是一个非常重要的环节。它可以确保输入的数据的合法性和有效性，从而保证系统的稳定性和安全性。Golang是一种强类型的静态编程语言，它提供了 ......
07.DDL 数据库操作 - 查看
目录 选择数据库语法 查看数据库语法 查看数据库的定义信息语法 实例 查看数据库语法 DATABASES：必选项，用于列出当前用户权限范围内所能查看到的所有数据库名称 -- 查看所有数据库 SHOW DATABASES; 选择数据库语法 -- 选择数据库为当前数据库 USE 数据库名; 查看数据库的 ......
06.DDL 数据库操作 - 创建
目录 创建数据库语法 创建数据库注意事项 创建基本数据库 创建指定字符集的数据库 创建数据库前判断是否存在同名数据库 创建数据库语法 IF NOT EXISTS：可选项，创建前先判断，未存在时才执行创建语句 数据库名：必须指定的 CHARACTER SET =字符集：可选项，用于指定数据库的字符集 ......
【C语言学习】01. 数据类型、常量、变量
数据类型 数据类型的分类： 基本类型 整型 int 浮点型 float 字符型 char 构造类型 数组 [] 结构体 struct 指针类型 * 空类型 void 常量 常量是指在程序运行过程中，其值不发生变化的量。 常量的分类： 整型常量：100, 123, -100, 0 浮点型常量（也称实型 ......
03.数据库客户端工具
目录 WorkBench Navicat WorkBench 安装 官方提供的图形界面交互工具 官网下载：https://dev.mysql.com/downloads/workbench/ 网盘下载： https://pan.baidu.com/s/1VtEXIogo_GS7iGh3f0nklw ......
01.数据库的基本概念
目录 数据库简介 数据库分类 常用数据库简介 使用场景 数据库简介 数据库(DataBase) 就是一个以某种有组织的方式存储的数据集合 是存储和管理数据的仓库 其本质是一个文件系统 数据库管理系统（DBMS）是一款管理软件 数据库分类 关系型数据库（RDB: Relationship DataBa ......
SQLServer命令行备份数据库
SQLServer命令行备份数据库 背景 SQLServer on linux 想设置计划任务自动备份数据库 感觉sqlcmd应该是最简单快捷的方式了 所以进行一下处理. 安装必备软件 sudo curl -o /etc/yum.repos.d/msprod.repo https://package ......
数据类型转换
'''复习数据类型整数类型 int 写法：a = 1小数类型 float 写法： a = 1.1字符串类型 str 写法： a = 'string'布尔类型 bool 写法： a = True列表类型 list 写法： a = ['小明','小红','小溪']元组类型 tuple 写法： a = ( ......