笔记 数据hadoop hive
01.数据库的基本概念
目录 数据库简介 数据库分类 常用数据库简介 使用场景 数据库简介 数据库(DataBase) 就是一个以某种有组织的方式存储的数据集合 是存储和管理数据的仓库 其本质是一个文件系统 数据库管理系统（DBMS）是一款管理软件 数据库分类 关系型数据库（RDB: Relationship DataBa ......
12月30日《软件需求十步走》阅读笔记三
软件需求十步走阅读笔记03 业务及信息化规划、用户需求和系统需求，这三个部分需求构成了软件需求。 业务及信息化规划：客户业务“有什么” 用户需求：使用户基于软件系统“怎么做”系统需求：软件系统“做什么”和做的时候要注意“遵循什么”。软件工程的首要环节是需求分析，软件需求是需求工程和软件工程纽带的软件 ......
SQLServer命令行备份数据库
SQLServer命令行备份数据库 背景 SQLServer on linux 想设置计划任务自动备份数据库 感觉sqlcmd应该是最简单快捷的方式了 所以进行一下处理. 安装必备软件 sudo curl -o /etc/yum.repos.d/msprod.repo https://package ......
数据类型转换
'''复习数据类型整数类型 int 写法：a = 1小数类型 float 写法： a = 1.1字符串类型 str 写法： a = 'string'布尔类型 bool 写法： a = True列表类型 list 写法： a = ['小明','小红','小溪']元组类型 tuple 写法： a = ( ......
MySQL shell 备份数据库
MySQL shell 备份数据库 背景 之前使用 mysqldump 和 mysql source 的方式备份数据库非常缓慢 有时候要耗费非常长的时间 今天发现有一个可以快速备份数据库的 mysqlshell的方法这里总结一下. 注意如果存在超过 8126的列定义, 可能要慎重一下. 介绍 MyS ......
笔记系统开源地址
今天开源了我的笔记系统我的笔记系统从9月份开始动工，到现在仍然在开发中。一个人开发的创造力总是有限，所以决定开源。采用的是Apache-2.0协议考虑到国内的具体环境，所以把项目放在gitee上，链接如下： https://gitee.com/hanshu_alan/notes ......
MATLAB连接MySQL数据库
今天开始看《MATLAB数据分析与挖掘实战》，学习了下用MATLAB连接MySQL数据库，环境win7,32bit,MySQL5.7.12,MATLAB2013B 首先，从这里下载驱动的压缩文件(我选的第一个)，解压，将mysql-connector-java-5.1.39-bin.jar放到MAT ......
省选学习笔记
圆方树 这里的圆方树指广义圆方树。 对于一张 \(n\) 个点的无向图，其中包含 \(k\) 个点双，那么这张图建出的圆方树一共有 \(n+k\) 个点，其中前 \(n\) 个点为原图中的点，称为圆点，后 \(k\) 个点每个点代表一个点双，称为方点，每个点双与其中包含的点连边构成一个菊花，这 \( ......
如果后端API一次返回10万条数据，前端应该如何处理？
这个问题其实是考察面试者对性能优化的理解，涉及的话题很多。 创建服务器 为了方便后续测试，我们可以使用node创建一个简单的服务器。 服务器端代码： const http = require('http')const port = 8000;let list = []let num = 0// cr ......
大数据技术框架
大数据技术框架: 1.存储引擎 1>分布式文件系统HDFS:block,replication 2>NoSQL数据库:Hbase:Table,region 实时存储引擎 3>分布式消息队列Kafka:Topic,Partition 实时存储引擎 4>分布式搜索引擎:Elasticserarch:in ......
<学习笔记> SAM
SAM 定义 字符串 \(s\) 的 \(SAM\) 是一个接受 \(s\) 的所有后缀的最小 \(DFA\)（确定性有限自动机或确定性有限状态自动机）。 \(\mathrm{endpos(t)}:\) 子串 \(t\) 在原串 \(s\) 中所有出现位置（最后一个字符位置）的集合。 \(\math ......
TF246017: Team Foundation Server 未能连接到数据库。 请验证是否 已正确指定实例，承载数据库的服务器是否能够正常运行，且没有网络 问题阻止与服务器通信
最近在工作中使用TFS中突然遇到TFS未能连接到数据库的问题，当初TFS服务是自己部署的，问题也得自己解决。下面是当时在VS和TFS服务器管理工具上的错误截图。 经过一番查找，是运维那边改服务器管理员账号administrator的密码了，刚好之前部署TFS服务的时候是把服务器的administra ......
c++ primer 5 笔记
endl;//会刷新设备缓冲区 2.1.2类型转换 wchar_t//确保可以存放机器最大字符集的任意一个字符 char16_t char32_t//Unicode字符集服务 unsigned char c = -1;//255 超出显示范围 初始值对无符号类型表示总数取模后的余数 signed c ......
关于数据库归档
目录1.数据库归档是什么2.MySQL 归档工具有哪些 本文主要介绍数据库归档基本概念和目的，以及对于MySQL来说，有哪些归档工具。 1.数据库归档是什么 数据库归档是一种数据管理策略，它涉及将旧的、不经常访问的数据移动到一个单独的存储设备，以便在需要时可以检索，同时保持数据库的性能和效率。 数据 ......
快速上手 dbt 数据转换工具 -- dbt core 命令进阶篇
引 根据第一篇文章的约定，我想通过接下来的几篇文章带大家进一步了解 dbt 的用法，原计划这篇文章我会介绍 dbt 命令的进阶用法，进一步认识 dbt 的配置以及如何创建增量表等等零零散散十几个方面的知识点，结果在我写完命令部分发现篇幅就过长了，考虑到大家对于知识的吸收，想了想还是把命令单独作为一个 ......
考场上手捏数据的小寄巧
前言 大家都打过 CF，而对于 CF 特殊的赛制，大家也有所耳闻。其中最激动人心的环节也就是 Hack 环节了。其实赛时捏数据，也无非就是对着自己的代码定向爆破罢了。 多捏边界条件，例如询问总是询问修改的边界，再或者题目中某操作可能的特殊性质。 多捏特殊的图，有的图因为其特殊的性质，对复杂度检验很有 ......
druid实现数据库密码加密功能
数据库密码直接写在配置中，对运维安全来说，是一个很大的挑战。可以使用Druid为此提供一种数据库密码加密的手段ConfigFilter。 如果项目已经集成druid，只需按要求配置即可。 1、执行命令加密数据库密码 找到druid-1.2.20.jar所在的文件夹目录，执行cmd命令，然后执行下面的 ......
linux 中while 循环read读入数据 使用IFS指定分割符
001、测试数据 [root@pc1 test1]# ls a.txt [root@pc1 test1]# cat a.txt ## 测试数据 d_j j k d d_kk 002、不指定分隔符 [root@pc1 test1]# ls a.txt [root@pc1 test1]# cat a.t ......
【Python爬虫课程设计】大数据分析——东方财富石头科技股市数据分析
一、选题课程背景 在当今信息化时代，数据已成为驱动各行各业发展的重要力量。股市作为经济的晴雨表，其数据更是备受关注。东方财富网作为国内知名的财经网站，拥有海量的股市数据。随着大数据技术的不断发展，数据在各行各业的应用越来越广泛。股市作为经济的核心，其数据的价值不言而喻。然而，获取股市数据并非易事，尤 ......
《需求分析与系统设计》读书笔记3
经过一个月的阅读，终于把《需求分析与系统设计》这本书读完了，其中对需求和对设计方面的知识对我帮助很大。书中作者对需求分析的思想对我也有很大的启示，在我现阶段的学习中对需求的了解有了进一步的认知。这一阶段我读了这本书的最后几章，在这几章中作者主要对系统的设计做了一定的分析，同时让我学到很多东西。 第七 ......
线段树笔记
例\(1\) 题目描述 给定一个长为\(n\)的序列，有\(m\)次操作，每次操作为以下三种之一。 修改序列中的一个数 求序列中某连续一段所有数的两两乘积的和\(\text{mod} 1000000007\)。 求序列中某连续一段所有相邻两数乘积的和\(\text{mod} 1000000007\) ......
数据库超线程效果的一个验证
数据库超线程效果的一个验证 背景 元旦加班期间,一直跟着同事再查一个项目的卡顿问题. 自己想到了一个提高测试环境性能的方法. 然后趁着元旦用的人少进行了一下验证. 在业务空闲期间, 批量进行Oracle数据库的统计信息更新动作. 自己一开始担心的是 如果数据量很大, 执行时间很长,如果影响到正常业务 ......
panghu week02 总结笔记
Algorthim: N皇后： 思路： step: 先放第一排，有n种放置的可能性 然后放第二排，放第二排的时候需要检查是否可以放置，如果不可以放置，则continue func solveNQueens(n int) [][]string { bd := make([][]string,n) fo ......
C语言学习-char型数据
字符型数据 1.1字符型常量 用单引号括起来的一个字符型常量，且只能包含一个字符，例如'a'、'A'、'1'、' '是正确的字符型常量，而'abc'、"a"是错误的字符型常量。 1.2字符型变量 Markdown更多语法 一个字符型常量存放到一个字符型变量中时，实际上并不是把该字符的字型放到内存中， ......
Cellebrite Physical Analyzer 7.65 (Windows) - 数字数据审查
Cellebrite Physical Analyzer 7.65 (Windows) - 数字数据审查 The Industry Standard for Digital Data Examination 请访问原文链接：https://sysin.org/blog/cellebrite-phys ......
Hadoop HA部署
实现Hadoop高可用性部署 Hadoop High Availability（HA）是一种设计模式，用于确保在Hadoop分布式文件系统（HDFS）和资源管理器（ResourceManager）等关键组件中发生故障时，系统能够继续提供服务。HA的目标是减小单点故障对系统可用性的影响，使Hadoop ......
12月读书笔记
此外，书中还深入研究了敏捷开发中的一些关键概念，如迭代开发、用户故事、优先级排序等。这些概念构成了敏捷方法的核心框架，通过它们的灵活运用，团队能够更好地应对项目中的不确定性和变化。 在实践方面，书中对一些具体的工具和技术也进行了介绍。例如，它详细讨论了测试驱动开发（TDD）的实施，以及如何通过自动化 ......
AES算法在网络安全中的应用：如何守护数据宝藏？
摘要：高级加密标准（AES）是美国国家标准与技术研究所（NIST）用于加密电子数据的规范。本文从历史、算法原理、性能优势和应用等方面全面介绍了AES算法，旨在帮助读者更好地理解这一广泛应用的对称加密算法。 AES(Rijndael)加密解密 | 一个覆盖广泛主题工具的高效在线平台(amd794.co ......
读书笔记——《敏捷软件需求》其一
《敏捷软件需求》一书是由Dean Leffingwell和Don Widrig合著的一本关于敏捷开发中需求管理的经典著作。本书全面介绍了敏捷需求工程的原则、方法和工具，帮助团队在敏捷环境中高效地管理和满足需求。 首先，本书强调了敏捷开发的核心原则和价值观。作者指出，个体和互动、工作软件胜过详尽的文档 ......