白鲸 数据分析 模型dataops
期中考试后，该怎样分析成绩和试卷？
制作成绩分布图表：对成绩进行统计，绘制成绩分布直方图或饼图，以便直观地了解整个班级或学校的成绩分布情况。收集成绩数据：获得学生的期中考试成绩，包括每位学生在各科目或科目组合（如文理科）上的具体得分。错误常见性：分析学生在试卷中犯错的地方，找出普遍错误的知识点或题型，以便调整后续教学重点。知识点覆盖：... ......
大数据开发要学什么java还是python？
在大数据开发领域，Java和Python都是备受青睐的编程语言。它们分别具有各自独特的特点和优势，在大数据处理方面也有不同的应用场景。 以下是对Java和Python在大数据开发中的应用、优势以及学习建议的详细描述。 Java在大数据开发中的应用和优势 1. 应用场景 Hadoop生态圈: Java ......
Maybatis-Plus 数据库查询 lambdaQuery和mapper中EQ、NE、GT、LT、GE、LE、select、like、in、leftjoin的用法及详解
Maybatis-Plus lambdaQuery和mapper中EQ、NE、GT、LT、GE、LE的用法及详解 实体 当前实体如下，后续代码示例都用该实体； @Data @TableName("user_info") @ApiModel(value = "UserInfo对象", descript ......
大数据第六周随笔
Linux进程管理查看正在运行的进程[root@localhost ~]# ps aux#查看系统中所有的进程，使用 BS 操作系统格式[root@localhost ~]# ps -le#查看系统中所有的进程，使用 Linux 标准命令格式 a：显示一个终端的所有进程，除会话引线外； u：显示进程 ......
应对数据爆炸时代，揭秘向量数据库如何成为AI开发者的新宠，各数据库差异对比
应对数据爆炸时代，揭秘向量数据库如何成为AI开发者的新宠，各数据库差异对比 随着大模型的爆火，向量数据库也越发成为开发者关注的焦点。为了方便大家更好地了解向量数据库，我们特地推出了《Hello, VectorDB》系列，本文将从宏观角度、向量数据库与其他算法库的区别、技术难点及如何选择向量数据库等方 ......
大数据第五周随笔
这周我们学习了文件权限这一章节 权限被分为三个类型：读、写和执行。 读权限：允许用户读取文件或目录的内容，查看文件的属性信息。 写权限：允许用户修改文件或目录，删除文件或目录，创建、删除、移动或重命名目录中的文件。 执行权限：允许用户运行文件，例如可执行文件、脚本文件。 每个文件或目录的权限由三个字 ......
使用ExLlamaV2量化并运行EXL2模型
量化大型语言模型(llm)是减少这些模型大小和加快推理速度的最流行的方法。在这些技术中，GPTQ在gpu上提供了惊人的性能。与非量化模型相比，该方法使用的VRAM几乎减少了3倍，同时提供了相似的精度水平和更快的生成速度。 ExLlamaV2是一个旨在从GPTQ中挤出更多性能的库。由于新的内核，它还经 ......
深度学习笔记2：数据增强
上一节由于训练数据集样本量较小，模型过早拟合最终我们在测试数据集的分类精度只达到了70%，本章节我们通过使用数据增强降低过拟合的方法。使用数据增强之后，模型的分类精度将提高到 80%～85%。数据增强是指从现有的训练样本中生成更多的训练数据，做法是利用一些能够生成可信图像的随机变换来增强（augme... ......
13-基础SQL-DQL(数据查询语言)-执行顺序（编写顺序和执行顺序）
DQL-介绍（常用） DQL英文全称是Data Query Language（数据查询语言），数据查询语言用来查询数据库中表的记录 查询关键字：SELECT DQL-语法 DQL-语法（编写顺序和执行顺序） 案例：创建一个 emp 员工表，添加一些员工数据 CREATE TABLE emp( id ......
AIGC数据标注的影响与应用等
数据标注是将原始数据进⾏加⼯处理，⽐如分类、拉框、注释、标记等操作转换成机器可识别信息的过程。 国内数据标注⼚商，⼴义称之为基础数据服务提供商，通常需要完成数据集结构/流程设计、数据处理、数据质检等⼯作，为下游客⼾提供通⽤数据集、定制化服务、数据闭环⼯具链等。这也是本次AIGC数据标注全景报告的研究 ......
python+pytest写测试用例后置清理数据操作
一、teardown_function 函数是为了在每个测试函数def执行后进行数据清理。 # 引入 DbConnect 类或者确保它已经被定义from your_db_module import DbConnect def teardown_function(): try: print("后置操作 ......
使用数据库工具连接 mendix默认数据库(HSQL)
1. 先启动数据库 cmd下执行(注意路径) : java -cp org.hsqldb.hsqldb-2.7.1.jar org.hsqldb.server.Server --database.0 file:default\default --dbname.0 default 界面显示 再确认目录 ......
Unit_ptr数据类型的理解
1、相关代码理解 在看代码时，发现有用到 SOCKET 我去找它们的定义，发现有如下定义： typedef UINT_PTR SOCKET 又去看UINT_PTR，LONG_PTR, LONG_PTR的定义，发现有如下定义： 1 typedef _W64 int INT_PTR, *PINT_PTR ......
这些仪表板常用的数据分析模型，你都见过吗？
本文由葡萄城技术团队发布。转载请注明出处：葡萄城官网，葡萄城为开发者提供专业的开发工具、解决方案和服务，赋能开发者。 前言 在数字化时代，数据已经成为了企业决策和管理的重要依据。而仪表板作为一种数据可视化工具，则可以帮助企业更加直观地了解和分析数据，从而作出更准确和有效的决策。然而，仪表板中使用的数 ......
12-基础SQL-DQL(数据查询语言)-分页查询（LIMIT）
DQL-介绍（常用） DQL英文全称是Data Query Language（数据查询语言），数据查询语言用来查询数据库中表的记录 查询关键字：SELECT DQL-语法 DQL-分页查询 语法： SELECT 字段列表 FROM 表名 LIMIT 起始索引, 查询记录数; 案例：创建一个 emp ......
实例讲解C++连接各种数据库，包含SQL Server、MySQL、Oracle、ACCESS、SQLite 和 PostgreSQL、MongoDB 数据库
C++ 是一种通用的编程语言，可以使用不同的库和驱动程序来连接各种数据库。以下是一些示例代码，演示如何使用 C++ 连接 SQL Server、MySQL、Oracle、ACCESS、SQLite 和 PostgreSQL、MongoDB 数据库。 ......
数据的4个等级
除了可以将数据分为定量和定性的，数据还可以分为以下4个等级，每个等级都有不同的控制和数学操作等级； 定类等级（nominal level） 定序等级（ordinal level） 定距等级（interval level） 定比等级（ratio level） 定类等级是数据的第一个等级，其结构最弱。这 ......
Power BI - 5分钟学习连接数据源
最近应业务部门请求，给同事做一次入门培训；在整理资料之余，把一些内容以每天5分钟的形式分享给大家那么首先我们解释What is Power BI?简单来说就是可以从各种数据源中提取数据，并对数据进行整理分析，然后生成精美的图表，并且可以在电脑端和移动端与他人共享的一个神器。 第1天 - Power ......
监控MySQL数据库
监控MySQL数据库 想通过grafana简单监控一下MySQL数据库的情况. 作为笔记处理. 创建用户 建议给数据库创建一个监控用户: CREATE USER 'mysqlexporter'@'localhost' IDENTIFIED BY 'Testxxxxxxxx' WITH MAX_USE ......
Java的Integer.bitCount()源码分析
本文部分参考：https://blog.csdn.net/weixin_42092787/article/details/106607426 常规解法 对于统计一个32位的二进制数值当中1的数量这个问题，常规解法如下： public int hammingWeight(int n) { int co ......
php压缩json数据
最近在优化一个页面：ajax请求异步数据，特定情况下，json数据达到100MB左右，仅数据传输时间就需要10-20s左右，简直太慢了。 检索资料看怎么压缩json数据 有效的方法： ob_start('ob_gzhandler'); //压缩数据 header('Content-Type: app ......
大数据期中复习
一，修改数据库 1.如何查看表的结构；语法规则为：SHOW CREATE TABLE 表名; 。or DESCRIBE 表名； 2.如何修改表的名称。语法规则为：ALTER TABLE 旧表名 RENAME 新表名; 。 3.修改字段名。语法规则为： ALTER TABLE 表名 CHANGE 旧字 ......
国科大数据库新技术2023真题
一、简答题 1、面向对象数据库技术的主要难点？ 2、在数据切分机制中，一致性哈希算法的基本原理是什么？ 3、大数据的4V特征是什么？ 4、从系统架构、数据模型、数据的一致性三个方面比较Amazon平台基础存储框架Dynamo和Goole云计算中分布式结构化数据表Bigtable的不同点。 5、区块链 ......
Python产出01|自动化数据比对|Python
源码如下位置 地址：https://github.com/T-Better/SoftTest/tree/main/B01_66%20%E4%BD%9C%E5%93%81/66%20%E5%85%B6%E4%BB%96%E8%84%9A%E6%9C%AC/%E8%87%AA%E5%8A%A8%E5%8 ......
基于霍克斯过程的限价订单簿模型下的深度强化学习做市策略
更多精彩内容，欢迎关注公众号：数量技术宅，也可添加技术宅个人微信号：sljsz01，与我交流。 相关研究总述 最优做市 (MM) 是在限价订单簿 (LOB) 的两侧同时下达买订单和卖订单的问题，目的是最大化交易者的最终收益率，同时最小化相关风险。 可以说，其中最突出的是库存风险，它源于交易者（做市商 ......
R语言面板平滑转换回归(PSTR)分析案例实现|附代码数据
全文下载链接： http://tecdat.cn/?p=3765 最近我们被客户要求撰写关于PSTR的研究报告，包括一些图形和统计输出。 在本文中，建模过程包括三个阶段：表述，估计和评估，本文帮助用户进行模型表述、估计，进行PSTR模型评估 （ 点击文末“阅读原文”获取完整代码数据）。 在程序包中实 ......
Oracle 把一个用户的数据导入另一个用户 （数据泵）
导入数据报错： ORA-31655: no data or metadata objects selected for job ORA-39154: Objects from foreign schemas have been removed from import Master table "TH ......
【专题】2023年新能源汽车及用户调研分析报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34315 原文出处：拓端数据部落公众号 2022年，尽管受疫情频发、芯片结构性短缺、动力电池原材料价格高位运行等多方面影响，中国汽车市场却在逆境中整体复苏向好，总体实现正增长，全年销量完成2686万辆;在国内强大的消费市场促进下，乘用车市场已连续 ......
R语言《红楼梦》文本挖掘：词频统计、词云可视化及前后对比分析
全文链接：https://tecdat.cn/?p=34319 原文出处：拓端数据部落公众号 作为中国古典文学的瑰宝，《红楼梦》具有极高的文学价值和丰富的主题内涵。近年来，随着大数据和文本挖掘技术的发展，对《红楼梦》等古典文学作品的深度分析成为可能。本研究采用R语言作为分析工具，对《红楼梦》全文进行 ......