仓库 数据hive ddl
23-Hive优化(上)
# 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 ......
22-Hive函数应用
# 1. 多字节分隔符 ## 1.1 问题与需求 【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row ......
21-Hive运算符&函数
# 1. Hive 内置运算符 整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。 官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式： ......
新数据问题
vca的去噪算法对数据有影响，当时好像所有数据对。 这里的1，2，3，4对应的是specturh中的顺序 brown是1darkgreen是2vineyard是3peagreen是4（问题很大标签对不上啊，标签错误啊）还有个问题这3，4提不出来啊。应该是去噪问题啊。 但是欧式角很大。 这个欧式角是最 ......
20-Hive-DML&DQL
# 1. Load DATA 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产 ......
在IDEA中使用Git（远程仓库操作）
直接右击，就可以查看远程仓库 查看远程仓库的别名和地址 ADD添加远程仓库，一个本地仓库其实可以对应多个远程仓库 输入需要添加的远程仓库的别名和地址 - 是删除，这里的删除只是代表与该仓库断开连接，不是删除了该远程仓库 右击就可以直接推送到远程仓库 左侧为本地仓库的某分支 ——》远程仓库的别名：某分 ......
19-Hive-DDL
数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建，删除，修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 ......
在IDEA中使用Git（本地仓库操作）
在添加新的类（文件）的时候会自动跳出，是否提交到Git中 如果当时没有添加，也可以通过右击添加 会弹出对话框，选择需要添加的文件，以及填写提示信息Message 也可以在idea上面的Git后面找到绿色对号按钮，也是用来提交的 同时时钟按钮是用来查看日志的 logall也就是查看所有日志 右侧可以查 ......
浅谈数据库分库分表
[TOC] 本文主要介绍数据库分库分表相关的基础知识，包括分库分表是什么，为什么要分库分表，以及有哪些解决方案。 # 1.分库分表是什么 数据库分库分表，用英文表示是`"database sharding" or "database partitioning"`。 分库分表是指将一个大型数据库按照一 ......
爬虫数据保存到csv中
import json import os.path import time from jsonpath import * # import jsonpath as jsonpath import pandas as pd import requests # url = "http://www.wh ......
18-Hive入门&安装
# 1. Hive 概述 ## 1.1 什么是 Hive？ Apache Hive 是一款**建立在 Hadoop 之上的开源数据仓库工具**，可以将存储在 Hadoop 文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似 SQL 的查询模型，称为 Hive 查询语言（HQL） ......
MySQL学习-DML（Data Manipulation Language）数据--select语句02
表连接：分为内连接和外连接，常用内连接。当需要同时显示多个表中字段时，就可以用表连接。 内连接：仅选出两张表中互相匹配的记录 外连接：还会选出其他不匹配的记录 外连接包含左连接和右连接 左连接： ......
锋迷商城-建库建表准备数据
数据库文件：链接: https://pan.baidu.com/s/1jsc7I8NYFqJvEdZNZA66ng?pwd=dxp1 提取码: dxp1 注：所有资源来源于B站涛哥锋迷商城项目教学视频 锋迷商城教学视频链接：https://www.bilibili.com/video/BV1gb4y ......
利用EasySQLMAIL的“交互式查询任务”快速实现简单的B/S结构数据查询工具
不写代码，如何在10分钟内做一个数据查询界面？本文介绍利用EasySQLMAIL的“交互式查询任务”快速实现简单的B/S结构数据查询工具。 ......
在 Amazon EMR 上构建实时数据湖
前言 当公司业务发展遇到瓶颈时，业务分析师以及决策者们总会希望通过交叉分析大量的业务数据和用户行为数据，以解答“为什么利润会下滑？”“为什么库存周转变慢了？”等问题，最终整点“干货”出来从而促进业务发展。 亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培 ......
Tensorflow数据的基本操作
```python # tensorflow里引入一个新的数据类型-张量(tensor)，与numpy的ndarray类似，是一个多维数组。和numpy的区别在于：numpy的ndarray只支持CPU计算，而张量支持GPU，可以通过GPU加速，提高速度，同时张量还支持自动微分计算，更适合深度学习 ......
大数据总结
这周我学了hive表数据导出 、分区表的使用、分桶表创建和分桶表数据加载等，我在这期间也学了学java爬虫和ssm等。 hive表数据导出 第二种，是放到了本地的不是放在HFDS里的 分区表的使用 分桶表创建 分桶表数据加载 ......
Java学习-2.简介、关键字、标识符、变量、数据类型、运算符
一、Java简介 Java最早是由SUN公司（已被Oracle收购）的詹姆斯·高斯林（高司令，人称Java之父）在上个世纪90年代初开发的一种编程语言，最初被命名为Oak，目标是针对小型家电设备的嵌入式应用，结果市场没啥反响。谁料到互联网的崛起，让Oak重新焕发了生机，于是SUN公司改造了Oak，在 ......
云数据库压测
MySQL性能压测或者基准测试看起来很简单，使用sysbench，tpcc工具跑跑拿到数据就好，其实压测是一个技术活儿，尤其是涉及到性能对比的测试，因为不同场景/不同厂商的产品的参数设置不同，测试的结果也不一样。如果不阐明具体的参数配置差异，直接给出压测结果可能给其他人带来误导。 本文针对三款主流的 ......
SAP CDS view 定义的数据库视图和传统 SQL 语句定义视图的区别
`SAP CDS (Core Data Services)` 是 SAP HANA 数据模型开发的一种技术。它提供了一种领域特定的语言，用于定义数据模型，以及对数据进行查询、转换和展示。与传统的 SQL（Structured Query Language）相比，SAP CDS view 语法具有许多 ......
EF 管理数据库架构
本章会主要了解EF提供的独立迁移项目，用独立迁移项目自动创建dgml设计关系图和sql脚本。 迁移项目通常也叫（CodeFirst代码优先），在EF中迁移项目是在，在代码中设计数据库，每次对数据库的设计都将被保留记录。这种模式只会向前修改，不会向后修改。因为一旦数据已经存在，不易删除改变结构，只能改 ......
[粘贴]使用 Dumpling 导出数据
https://docs.pingcap.com/zh/tidb/stable/dumpling-overview#dumpling-%E4%B8%BB%E8%A6%81%E9%80%89%E9%A1%B9%E8%A1%A8 使用数据导出工具 Dumpling，你可以把存储在 TiDB 或 MySQ ......
SAP Fiori Elements 应用 OData 元数据请求 url 里的模型名称决定逻辑
# 问题 我用 `yarn start` 本地启动一个 SAP Fiori Elements 应用，在 Chrome 开发者工具 network 面板，观察到一个 OData metadata 请求的 url 如下： `http://localhost:8080/sap/opu/odata/sap/ ......
el-select 无限下拉滚动加载数据
<template> <div> <el-form ref="saveParameter" :model="saveParameter" inline inline-message style="margin:10px" > <el-form-item label="供应商" prop="lngcu ......
数据库连接
[TOC] #### 1、mysql启动和停止 ``` mysql> net stop mysql mysql> net start mysql ``` #### 2、mysql登录 > 1、连接服务器: mysql -u root -p > > 2、看当前所有数据库：show databases; ......
榜单等数据持久化的思考
榜单数据 业务原始数据做持久化。 统计方面做幂等 mysql建立消费明细和榜单积分表。 消费明细记录榜单更新操作 榜单积分表用于对排行主题进行积分累计。 将榜单消费明细和排行主体积分操作为一个事物，保证消息只消费一次。 全局唯一标识的持久化 PK ID redis.incr redis重启有可能会有 ......
asp:Repeater和UI:Grid数据为空时如何显示表头？
Repeater 控件用于显示被绑定在该控件上的项目的重复列表。Repeater 控件可被绑定到数据库表、XML 文件或者其他项目列表。 GridView 控件，通过使用 GridView 控件，您可以显示、编辑和删除多种不同的数据源（例如数据库、XML 文件和公开数据的业务对象）中的数据。 ......
数模——数据预处理
数据预处理 1. 数据清理（缺失值、异常值、无关值、噪声和重复值） a. 缺失值 删除：缺失的数据较少时，将缺失这一属性的样本删除，前提是对整体数据没有较大的影响 插补：利用统计学的一些性质来填补这一数据，常见的方法有中值、中位数、平均数、众数等等 领近插补：使用和缺失样本最接近的样本的该属性值作为 ......