白鲸 数据分析 模型dataops
数据倾斜问题
## 数据倾斜的简介 数据倾斜即单个节点任务处理的数据量远高于同类型任务处理的数据量，成为整个作业的性能瓶颈。 本文将从产生数据倾斜的原因、不同计算引擎下的解决方法讨论。 ## 数据倾斜的场景和对应的解决方案 ### Suffle过程 数据倾斜和Suffle过程是密不可分的，Suffle过程在MR和 ......
关于UVM寄存器模型的理解
UVM中的RAL寄存器模型的意义:让开发者能够方便，快速地配置dut的寄存器。 RAL寄存器模型的实质：仍然是UVM中的一个类，但不是作为组件，而是和sequence一样，在basetest中被实例化和使用。本质上，RAL模型与DUT的通信还是依赖于agent的，其顺序是RAL模型通过发起seque ......
llm 多模态通用大模型（nlp/cv）知识讲解
模型算法(最难，模型结构与训练方法) 数据（最耗时，数据与模型效果之间的关系） 算力（GPU显卡+模型量化） 模型参数量、训练数据量： 模型参数量决定 整个模型的理论效果 训练数据量决定 整个模型的实际效果 多模态：用于表示某种信息的模式（图片、文字、语音、视频） 通过各种预训练模型将信息的不同模式 ......
COMP4650 文档分析
COMP4650COMP4650/6490 Document Analysis – Semester 2 / 2023Assignment 1Due 17:00 on Wednesday 16 August 2023 AEST (UTC +10)Last updated July 28, 2023O ......
拥抱数据变革：知识引导的机器学习
机器学习(ML)在大规模数据可用的许多应用中的成功，导致了人们对科学学科中类似成就的期望越来越高。数据科学的使用在涉及尚未完全理解的过程的科学问题中尤其有希望。然而，纯粹用数据驱动的方法来建模物理过程可能会有问题。例如，它可以创建一个复杂的模型，它既不能超越训练它的数据，也不能在物理上解释它。当训练 ......
Centos安装MySQL数据库
## 写在前面 本文使用的root账户进行操作, 若不是root账户需要在操作前加上`sudo` 大家一定要注意数据库安全问题啊 :D ## 准备 本文使用yum安装, 推荐大家先换个国内镜像源, 否则下载的非常慢, 而且可能会导致缺这缺那出现报错. 首先查看自己的Linux内核版本, 这里是为了在 ......
基础入门-算法分析&传输加密&数据格式&密文存储&代码混淆&逆向保护
基础入门-算法分析&传输加密&数据格式&密文存储&代码混淆&逆向保护 基础入门-算法分析&传输加密&数据格式&密文存储&代码混淆&逆向保护传输数据-编码型&加密型等传输格式-常规&JSON&XML等密码存储-Web&系统&三方应用代码混淆-源代码加密&逆向保护加密：1.常见加密编码进制等算法解析2. ......
TiDB dumpling 导出MySQL 数据遇异常
最近在学习研究TiDB 数据库运维，据介绍逻辑导出工具dumpling 是可以兼容MySQL 数据库的，于是进行了测试 数据库版本信息如下： 新建了两张表t1,t2: 利用存储过程批量插入500000 行记录： drop PROCEDURE p_load2; delimiter $$create P ......
Sql Server数据库自身优化
优化①：增加次数据文件，设置文件自动增长（粗略数据分区） 1.1：增加次数据文件 从SQL SERVER 2005开始，数据库不默认生成NDF数据文件，一般情况下有一个主数据文件（MDF）就够了，但是有些大型的数据库，由于信息很多，而且查询频繁，所以为了提高查询速度，可以把一些表或者一些表中的部分记 ......
.计算行数据和，每行数据总数未知，总行数未知且任意结尾
7.计算行数据和，每行数据总数未知，总行数未知且任意结尾 链接：https://ac.nowcoder.com/acm/contest/5657/G 来源：牛客网 题目描述： 计算一系列数的和 输入描述: 输入数据有多组, 每行表示一组输入数据。 每行不定有n nn个整数，空格隔开。( 1 ≤ n ......
知识图谱入门：使用Python创建知识图，分析并训练嵌入模型
本文中我们将解释如何构建KG、分析它以及创建嵌入模型。 构建知识图谱 加载我们的数据。在本文中我们将从头创建一个简单的KG。 https://avoid.overfit.cn/post/7ec9eb11e66c4b44bd2270b8ad66d80d ......
CTP tick数据合成K线的问题
各个交易所的tick数据 上海期货交易所（SHFE）：以rb2310为例 日盘收盘15:00:00的tick是有效数据，今收盘ClosePrice和结算价SettlementPrice也在15:00:00推送。中间休息前的收盘10:15:00是有效数据，夜盘收盘23:00:00是有效数据。这些时间的 ......
PHP查询MySQL 数据库后返回中文为问号
面向对象 1 $conn = new mysqli($servername,$user,$password); 3 增加 $conn->query("set names utf8"); $pdo = new PDO("mysql:host=$servername", $username, $pass ......
IPO排队名单列表分析
IPO排队名单列表分析 最新IPO排队情况 最新辅导备案 证监会官网显示截至发稿前，2023年8月7日-8月11日，启动辅导备案的企业共16家。从辅导备案时间来看：7号2家，8号4家，9号6家，10号3家，11号1家。从辅导备案企业的注册地来看：广东新增4家辅导备案企业；北京、浙江和四川各新增2家。 ......
U盘目录穿越获取车机SHELL - 分析与复现
github上破解日系车机的文章 - https://github.com/ea/bosch_headunit_root  其中有利用 U ......
UML类图关系分析及总结
# UML类图关系分析及总结 [TOC] ## 1、类图关系概述 关系图示概要图：  六种关系中，**组 ......
数据结构学习记录（一）
# 堆栈与队列 ## 一、知识要点 #### 1、==堆栈== - **堆栈的定义** - **堆栈(Stack)**是一种**具有一定约束的线性表**，插入和删除操作都作用在一个称为**栈顶（Top）**的端点位置。 - 通常把数据插入称为**压入栈（Push）**,删除数据称为**弹出栈（Pop ......
03-04 基本数据类型（列表、元组、字典、集合）
一、列表1、访问列表中的值list = ['red', 'green', 'blue', 'yellow', 'white', 'black']print( list[0] ) # 'red'print( list[1] )print( list[2] )print( list[-1] ) #bla ......
02 基本数据类型（数字、字符串）
一、基本数据类型1、数据类型● Python3中有六个标准的数据类型● Number（数字）● String（字符串）● List（列表）● Tuple（元组）● Dictionary（字典）● Set（集合）2、数字2.1 数字类型分为：● 整型（int）：Python3整型没有限制大小，可以当作 ......
巨杉数据库荣获2023胡润中国元宇宙潜力企业未来之星
巨杉数据库凭借其在分布式文档型数据库领域的技术实力和创新能力，再次荣获2023胡润中国元宇宙潜力企业榜未来之星称号。 近期，第二届胡润中国元宇宙高峰论坛暨《2023胡润中国元宇宙潜力企业榜》发布活动在广州南沙举办。作为国内基础软件的代表性厂商，巨杉数据库凭借其在分布式文档型数据库领域的技术实力和创新 ......
使用WebAssembly实现高性能计算：C++和Rust的案例分析
WebAssembly是一种新型的低级字节码格式，它可以在浏览器中运行高效的编译代码。使用WebAssembly可以实现高性能计算、游戏引擎等功能，对于需要大量计算的Web应用程序来说尤为重要。 ......
Dart 是不是单线程模型？是如何运行的？
引用《Flutter中文网》里的话：Dart 在单线程中是以消息循环机制来运行的，其中包含两个任务队列，一个是“微任务队列” microtask queue，另一个叫做“事件队列” event queue。入口函数 main() 执行完后，消息循环机制便启动了。首先会按照先进先出的顺序逐个执行微任务 ......
Netty核心功能与线程模型
Netty初探NIO 的类库和 API 繁杂， 使用麻烦： 需要熟练掌握Selector、 ServerSocketChannel、 SocketChannel、ByteBuffer等。开发工作量和难度都非常大： 例如客户端面临断线重连、 网络闪断、心跳处理、半包读写、 网络拥塞和异常流的处理等等。 ......
CSCI316 大数据挖掘
CSCI316 (SIM) 2023 Session 3 Individual Assignment 2CSCI316 – Big Data Mining Techniques and ImplementationIndividual Assignment 22023 Session 3 (SIM) ......
COMP3506/7505 算法与数据结构
Assignment One – 15%Algorithms and Data Structures – COMP3506/7505 – Semester 2, 2023Due: 3pm on Friday September 1st (week 6)SummaryThe main objectiv ......
利用text-generation-webui快速搭建chatGLM2-6b/LLAMA2-7B-chat大模型运行环境
text-generation-webui 是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建各种文本生成的大模型环境。 一、安装 text-generation-webui的readme其实已写得相当详细了，这里就不再重复，只说1个可能存在的坑： 安装 peft 安装卡住 r ......
解决达梦数据库密码复杂性导致的数据导出问题 - 问题记录
问题描述 在使用达梦数据库时，遇到了以下问题： 密码过于复杂，无法进行数据库的导出备份操作。 数据库导出时存在表数据导出不全的情况。 本文旨在记录并解决这些问题的过程。 问题解决过程 问题1: 密码过于复杂导致无法导出备份 解决方法： 使用管理员账户连接到达梦数据库，并修改数据库密码为较简单的密码。 ......
记一次MySQL数据库被黑
### 情况概述 偶然获得了一台云服务器, 并在上面使用Docker搭建了MySQL数据库, 想着将平时做Demo用到的数据转过去, 结果一直犯懒没弄. 今天在登陆时发现数据库被黑了. 使用`show databases`命令后看到一个名为README_TO_RECOVER_A的库, 库中有张表, ......
2-10-Feign-最佳实践分析(11-Feign-实现Feign最佳实践)
# 所谓的最佳实践是针对发请求与收请求两个接口而言的 # 总共分两种规范:继承+抽取  ![](https://i ......