笔记 数据hadoop hive
【SQL】查询存在于一个表而不存在于另外一个表的数据
需求描述：A、B两表，找出ID字段中，存在A表，但是不存在B表的数据。 -- 1、方法一（推荐）：使用not exists函数，括号内select 1查A与B的id能关联上的，然后查A表not exists的 select * from A a where not exists (select 1 ......
mysql数据库无法录入汉字问题
1.插入数据出现错误 show full columns from 表名;//查看数据表列编码 2. alter table 表名 change 列名 列名 varchar(自己设置) character set utf8 collate utf8_unicode_ci not null defau ......
php栈的数据结构
<?php class Stack{ const MAXSIZE = 4;// 栈最大容量 private $top = -1; private $stack = array();// 利用数组存储数据 public function __construct(){ $this->stack = ar ......
mongo笔记
1、nosql 优点： 高可扩展 分布式 架构灵活 2、表连接，mongo不支持 database collection 3、服务端 mongod 客户端 mongo 4、创建集合 db.createCollection('集合名称') db.集合名称.drop() 5、更改语句 db.Person ......
【笔记】electron + react + antd
electron Electron是一个使用 JavaScript、HTML 和 CSS 构建桌面应用程序的框架。 嵌入 Chromium 和 Node.js 到 二进制的 Electron 允许您保持一个 JavaScript 代码代码库并创建 在Windows上运行的跨平台应用 macOS和Li ......
redis 10大数据类型
Redis 10大数据类型 这里说的数据类型是value的数据类型，key的类型都是字符串。 Redis key Redis key是String类型，也是二进制安全的，我们可以使用任何二进制序列作为键，从像“foo”这样的字符串到 JPEG 文件的内容。 关于Redis的key有以下规则和建议： ......
asp.net core EF 连接数据库进行交互
1. 安装包 Microsoft.EntityFrameworkCoreMicosoft.EntityFrameworkCore.RelationalMicrosoft.EntityFrameworkCore.SqlServerMicrosoft.EntityFramerworkCore.Tools ......
4-springboot多数据源配置报错Cause: java.lang.IllegalArgumentException: jdbcUrl is required with driverClassName
springboot2.0版本以上的多数据源配置改成: spring.datasource.refunddb.url=jdbc:mysql://refund地址spring.datasource.refunddb.username=uatspring.datasource.refunddb.pass ......
C#初步学习4（个人笔记，基于老赵.Net的视频自学，不喜勿喷）
//此笔记仅针对个人学习而写，会有所缺失的内容，不喜勿喷 初步学习 C#中的类 C#中的类也和java相似 先来创建一个“Student”类 其内“Show”方法并不是静态方法，要创建“Student”的实例来进行调用 通过该实例没有报错，我们可以知道C#类中也有默认写出的空构造方法 现在我们来取消 ......
什么是主数据？（转载）
什么是主数据？ 主数据是一组用于提供有关业务数据（如位置、客户、产品、资产等）情境的标识符。它是企业或单位内运行业务必不可少的核心数据。否则，将无法统一比较系统之间的数据。但是，并非所有主数据都是一样的。被指定为主数据的数据类型可能因行业而异。即使在同一行业的不同业务实体中，主数据的示例也可能是离散 ......
大数据平台-元数据详情字段乱码问题排查过程
问题背景： 大数据平台中，数据资产(表、字段都属于资产)存储在Hive数据库中。用户可以搜索、点击查看元数据列表、详情等操作。 问题现象： 点击元数据详情，查看字段信息时，展示出的字段信息出现乱码现象。 问题原因： 初步分析大致又两种可能： 平台后端服务获取到数据时，无乱码问题，经由平台服务处理后展 ......
Framework升级到Core以及Dapper支持达梦数据库
.NET Framework 升级到 .NET Core 尝试使用try-convert工具没有成功 手动处理 类库将原有csproj文件内容替换如下 <Project Sdk="Microsoft.NET.Sdk"> <PropertyGroup> <TargetFrameworks>net452 ......
Hadoop启动后jps没有Datenode的问题
Hadoop启动后jps没有Datenode的问题 问题描述 最近在学习搭建大数据集群的过程中碰到了一个问题，就是web界面起不来，在start-all.sh启动集群后，输入jps，发现缺少DataNode节点，上网查询了一下，可能是由于多次输入hadoop namenode -format格式化节 ......
SqlSugar 实践笔记
使用 Insertable + ExecuteReturnSnowflakeIdAsync 为Id赋值时Id字段不能自增 数据库为SqlServer2012，实体的Id字段标记IsPrimaryKey = true属性，新增时使用雪花算法创建Id并将其赋值给新增记录，此时数据表Id字段不能设置为自增 ......
Sql Server数据库(可疑)解决办法
解决： 方法一： 重新还原数据库 方法二： 1、修改数据库为紧急模式ALTER DATABASE Zhangxing SET EMERGENCY2、使数据库变为单用户模式ALTER DATABASE Zhangxing SET SINGLE_USER（用时可能教长）3、修复数据库日志重新生成，此命令 ......
Sql Server数据库恢复挂起
第一种解决办法： 权限问题，把SQL Server启动账号改为具有完全控制权限的本地账号，停止SQL服务并重新启动 ctrl+r运行 输入services.msc，进入服务！然后找到具有完全控制权限的本地管理员用户帐号，如图！ 右击它，点击它的属性，然后点击登录按钮，见里面的密码，改成你进入sql ......
mybatis数据层的三种实现方式(xml、@Select注解、代码实现)
mybatis数据层的三种实现方式(xml、@Select注解、代码实现) 引言 在平常的日常java开发过程中，功能之间的交互，不可避免的要与数据库打交道，这中间就涉及到数据层的实现问题，有xml、@Select注解、Java代码三种实现方式，具体的可以根据自己的业务难易程度来选择某个实现方式，接 ......
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 ......
【数据模型】 与 【数据库英语】随笔
数据库管理系统 DBMS （DataBase-Management System） 数据库 database 文件处理系统 file-processing system 数据的冗余和不一致 data redundancy and inconsistency 数据访问困难 difficulty in ......
数据库连接池
数据库连接行为 redis好就好在他是单进程单线程IO多路复用的，所以连接一直不关闭也不会有什么大的影响。 Mysql是多线程的，线程开多了不关，问题肯定还是比较严重的。 连接池技术 那有没有办法可以弄一个来管理这些长连接的，让他一直不要关闭，答案就是连接池。 原理： 连接池基本的思想是在系统初始化 ......
【笔记】C++缺省源
C++竞赛使用缺省源（包括几次迭代的多个功能） 点击查看代码 /* Author: Sean_xzx Right Output! & Accepted! 本题核心： 1. 本题步骤： 1. */ #include <bits/stdc++.h> #define rep(i, a, b) for(in ......
上课用数据库
/* Navicat MySQL Data Transfer Source Server : kuyu Source Server Version : 50622 Source Host : localhost:3306 Source Database : wgj Target Server Typ ......
后缀数组SA学习笔记
洛谷模板题 题意：读入一个长度为 $ n $ 的由大小写英文字母或数字组成的字符串，请把这个字符串的所有非空后缀按字典序（用 ASCII 数值比较）从小到大排序，然后按顺序输出后缀的第一个字符在原串中的位置。位置编号为 $ 1 $ 到 $ n $。其中$1\le n \le 10^6$ 讲解清楚，码 ......
将数据转换为树形结构格式
addarrdata (data) { if (!Array.isArray(data)) {//验证data是不是数组类型 return [] } data.forEach(item => { item.parentId = item.fid item.label = item.typeName ......
MySQL只有data文件夹（数据库同名）数据恢复
第一步，查看环境，有没有可运行的数据库服务，如果有，进行第三步，如果没有，进行第二步； 第二步，安装一个数据库服务，进行第三步； 第三步，创建一个要恢复数据同名的DB； 第四步，创建一个要恢复的数据表，比如Table1； 第五步，执行语句：ALTER TABLE Table1 DISCARD TAB ......
消息 7347，级别 16， 链接服务器 'XXX' 的 OLE DB 访问接口 'MSDASQL' 返回的数据与列 '[MSDASQL].ext' 所需的数据长度不匹配。所需的(最大)数据长度为 510，但返回的数据长度为 5570。
消息 7347，级别 16，状态 1，第 174 行链接服务器 'XXX' 的 OLE DB 访问接口 'MSDASQL' 返回的数据与列 '[MSDASQL].ext' 所需的数据长度不匹配。所需的(最大)数据长度为 510，但返回的数据长度为 5570。 ......
学习记录：第一周day01笔记
linux系统简单介绍： BCPL->New B->C->Unix->Minix->Linux->gcc为了编译LInux内核产生 美国贝尔实验室 1.cd命令： cd 文件路径：进入某个目录 / ：根目录，所有文件都存储在该目录下 ~：用户主目录，linux提供一个快捷方式cd可以直接回到用户主目 ......
学习记录：第一周day02笔记
vim文本编辑器： 可以直接在终端下采用纯键盘操作的一款文本编辑器（号称编辑器之神，可以升级、可以扩展） 基础用法： 1、进入vim： 输入 vim file.c 文件存在则打开，否则新建并打开 2、输入i： 进入编辑模式，编写代码 3、保存并退出 按Esc，输入ZZ保存并退出 vim三大模式： 正 ......
学习记录：第一周day03笔记
一、数据类型 为什么要对数据进行分类？ 1、现实中的数据就是自带类别属性的 2、对数据进行分类可以节约内存存储空间、提高运行速度 存储空间的单位： Bit 比特 存储1个二进制位，只能存储0或1，是计算机存储数据的最小单位 Byte 字节 存储8个二进制位，是计算机存储数据的基本单位 KB（Kb） ......