笔记 数据hadoop hive
d2l之部分数据操作
一、广播机制 两个张量进行运算（加减乘除幂等） 如果两个张量形状相同则很容易进行运算，如果两个张量不同的时候该如何进行运算呢？ 1、a张量竖为1，b张量横为1 比如：a = torch.arange(3).reshape((3, 1))， b = torch.arange(2).reshape((1 ......
fastapi项目 05-数据库一对一，一对多
表之间一对一关系，父表类中通过 relationship() 方法来引用子表的类集合，在子表类中通过 foreign key (外键)引用父表类。如下示例。 from sqlalchemy.ext.declarative import declarative_base from sqlalchemy ......
mysql 数据库的最新操作
mysql 数据库最新操作如下 一、数据库的操作 语法：CREATE DATABASE [IF NOT EXISTS] db_name [create_specification [, create_specification] ...] create_specification: [DEFAULT ......
2023年10月份阅读笔记2
本次阅读的是《构建之法》 第五章 团队和流程 5.2 软件团队的模式 主治医师模式、明星模式、社区模式、业余剧团模式、秘密团队、特工团队、交响乐团模式、爵士乐模式、功能团队模式、官僚模式 5.3 开发流程 ①写了再改模式 ②瀑布模型（Waterfall Model） 是一个项目开发架构，开发过程是通 ......
InterLM训练营 第一课笔记
大模型在ChatGPT发布之后，成为今年最热的话题与研究方向，也有人把今年称为AI元年 通用大模型 书生·浦语大模型 开源历程 书生·浦语大模型系列 性能 从模型到应用 针对上述的步骤中所用到的不同技术，提供了不同的开源框架 数据 预训练 微调 评测 OpenCompass 部署 智能体 Lagen ......
Hadoop理论知识
1、Hadoop是什么？ Hadoop是一个由Apache基金会所研发的分布式系统基础架构。主要解决海量数据存储和海量数据的分析计算问题。 2、Hadoop的特点？ （1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。 （2）高扩展 ......
对比 SQL Server中的VARCHAR(max) 与VARCHAR(n) 数据类型
开始之前： 设计某数据库表结构的过程中，收到了一个另外令人感到意外的建议：对于字符型数据类型，数据库里统一使用varchar(max)来存储，也就是所有字符数据类型都用varchar(max)字段类型，理由是ORM写代码方便？ 是的，你没有听错，为了ORM中写代码方便，所以建议数据库中字符全部使用v ......
隧道转发笔记2
在192.168.1.206 上执行 ssh -fN -D 0.0.0.0:8888 root@192.168.1.207 将报文转发到207 在207 上设置ssh 允许动态转发 vim /etc/ssh/sshd_config 确保以下行没有注释（没有 "#" 符号），或者将其添加进去： All ......
docker部署redis程序数据库
############单节点redis mkdir -p /opt/redis/conf touch /opt/redis/conf/redis.conf ###启动redis容器 docker run -d --name redis -p 6379:6379 \ > -v /opt/redis/ ......
JDBC协议（压数据库）
一、JDBC协议 JDBC协议是一种直接测试数据库性能和功能的最常见和可靠的方式。 操作步骤： 首先需要添加JDBC驱动 （1）查询数据库版本，在Navicat执行语句 select version(); （2）下载JDBC驱动，下载后放入Jmeter\lib\ext目录下 1、添加JDBC采样器 ......
人工智能、算力、算法与数据的浅析
前言 人工智能、算力、算法和大数据这几个词出现的频率越来越高。在大环境的驱使下，笔者曾对“人工智能”产生了浓厚的兴趣，但这又好像空中楼阁，想到人工智能的实际应用、人工智能时如何改变我们的生活时大脑又是一片空白。因此笔者对这几个当红概念以及它们之间的关系做了较为全面的理解和研究，并以相对直白的语言进行 ......
深度学习笔记_Week1
本笔记基于吴恩达深度学习deeplearning.ai课程 第二周：神经网络的编程基础 神经网络的训练过程可以分为前向传播和反向传播两个独立的部分 2.1 二分类(Binary Classification) 所谓二分类问题，可以参照以下例子 假如你有一张图片作为输入，比如这只猫，如果识别这张图 片 ......
Lecture 4 数据整理
Lecture 4 数据整理 练习 学习一下这篇简短的 交互式正则表达式教程. 统计words文件 (/usr/share/dict/words) 中包含至少三个a 且不以's 结尾的单词个数。这些单词中，出现频率前三的末尾两个字母是什么？ sed的 y命令，或者 tr 程序也许可以帮你解决大小写的 ......
利用Matlab对Excel数据表参数进行频谱分析（FFT）的方法
1.先在表格中创建一列时间点，根据采样周期来设定时间点间隔，如采样周期为10kHz，则间隔点为0.0001。每个时间点对应一个采样值。第一行表格写上对应列的名称，如ts、ia。然后用Matlab“导入数据”，分别选定两列数据生成两个数据向量（要进行FFT分析的信号值和时间点）。该向量会在工作区上建立 ......
Hive理论知识
1、什么是Hive？ Hive是基于Hadoop的一个数据仓库工具，它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统（HDFS）上，并通过MapReduce任务执行查询操作。 2、数据模型有哪些？ 星形模式(Star Schema)：星 ......
CMake 学习笔记
CMake 学习笔记 CMake 已经是 C++ 构建系统的事实标准。 主要是对小彭老师的 C++ 视频课程中 CMake 相关部分的一些笔记和整理，视频链接如下 学 C++ 从 CMake 学起 现代 CMake 高级教程 包含视频中的代码和 PPT 的仓库见以下链接 https://github ......
分布式数据库测试
分布式数据库的测试涉及多个方面，因为它们需要在多个节点上运行、处理大量数据并保证数据一致性和可靠性。以下是测试分布式数据库时可以考虑的不同方向和方法： 功能测试： 基本功能测试：验证数据库的基本功能，如数据插入、查询、更新和删除操作是否正常工作。 事务管理测试：确保分布式事务在不同节点上的协调与管理 ......
读书笔记二
进程和线程:进程和线程都是一个时间段的描述，是CPU工作时间段的描述，不过是颗粒大小不同.进程就是包换上下文切换的程序执行时间总和 = CPU加载上下文+CPU执行+CPU保存上下文.线程是共享了进程的上下文环境的更为细小的CPU时间段。 判别式模型和生成式模型: 判别式模型直接学习决策函数f(X) ......
Oracle sql语句获取 字段为nunmber(18,4)类型数据 小数点后有3位的记录
sql: select LENGTH(t.pop_money), instr(t.pop_money, '.'), t.* from TB_DIET_WAREHOUSE_POP_LIST t where LENGTH(t.pop_money) - instr(t.pop_money, '.') > ......
读书笔记
《算法之美》这本书为我打开了计算机科学和算法设计的奇妙大门，引领我走进了一个充满智慧和创造力的世界。在这本书中，作者讲述了许多关于算法的精妙之处，让我对计算机科学有了更深层次的理解。首先，书中深入浅出地介绍了各种算法的原理和应用，以生动的例子和清晰的解释，使得那些抽象的概念变得具体而易懂。通过分析不 ......
关于若依框架页面下拉框选项数据条数与实际不符
下拉框选项数据条数与实际不符 参考以下文章 https://www.jianshu.com/p/ab26daf0a5fb 也就是设置好查询参数 我这里有41条数据，就已经能全部显示了 还有一种方法让下拉框显示全部数据项 参考文献：ruoyi表格控件获取数据结果只有十条_若依查询限制10条-CSDN博 ......
C++中 double 类型数据取模
C++ 中的取模运算符 % 操作数是 int 类型，如果需要对 double 类型的数据进行取模操作，需要使用到 std::fmod(double, double) 如 x 对 y 进行取模操作， #include <cmath> double x = 6.2, y = 5.6; // 返回结果为： ......
LonEle 操作的 SQL Server 数据库（msde2000）由 20180418 版更新至 20190328 版（非官方）
Shanghai Mitsubishi Elevator Co., Ltd（上海三菱电梯有限公司） 的 Comprehensive Elevator Monitoring System （电梯综合监控系统） 程序由于需要处理的数据数据结构发生改变，导致无法使用高版本直接访问数据库，及进行编辑查看等操 ......
简易机器学习笔记（八）关于经典的图像分类问题-常见经典神经网络LeNet
前言 图像分类是根据图像的语义信息对不同类别图像进行区分，是计算机视觉的核心，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层次视觉任务的基础。图像分类在许多领域都有着广泛的应用，如：安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类， ......
EasyExcel读取多个sheet表数据，自定义监听器
接口 /** * 导入 * * @param file * @return */ @PostMapping("/waitimport") public Result waitImport(@RequestParam("file") MultipartFile file) { try { ExcelR ......
linux iptables在没有域名且网络不通的情况下实现将IP数据包从一个IP地址路由到另一个IP地址
linux iptables在没有域名且网络不通的情况下实现将IP数据包从一个IP地址路由到另一个IP地址 ** 本文地址：https://www.cnblogs.com/muphy/p/17934332.html 场景 即使同一台服务器，在不同网络环境下访问的IP地址不同，处于不同的网段，且不同网 ......
【JDBC】Java数据库连接：操作流程、API、数据库连接池
JDBC简介 JDBC（Java DataBase Connectivity）Java数据库连接 JDBC是使用Java语言操作关系型数据库的一套API JDBC操作数据库流程 JDBC API DriverManager 驱动管理类 Connection 数据库连接对象 Statement Res ......
Django数据库连接
点击查看代码 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': "AaronCool", # 你的数据库名称 'USER': "root", # 你的数据库用户名 'PASSWORD': "Aaron20 ......
pgsql数据库常用操作
//月份范围查询数据SELECT * FROM "EMS_CHECK_DETAIL" WHERE to_char("CREATE_TIME",'yyyy-mm') BETWEEN '2021-01' and '2021-12' //日期范围查询数据SELECT * FROM "EMS_CHECK_D ......
js常用的数据处理方法
js常用的数据处理方法： 一、数据类型判断 1、typeof 右侧跟一个一元表达式。返回该表达式的数据类型，返回的结果是用该类型的字符串形式表示 number、boolean、symbol、string、object、undefined、function 对于基本类型，除 null 以外，均可以返回 ......