clickhouse数据flink
python数据分析师入门-学习笔记（第七节 爬虫如何搞钱）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫如何搞钱 1. 入职企业，找一份爬 ......
python数据分析师入门-学习笔记（第六节 爬虫合法吗）
## 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫合法吗 ## 机器人协议 - ro ......
python数据分析师入门-学习笔记（第五节 爬虫分类）
### 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 爬虫分类 ### 1. 聚焦爬虫 - ......
python数据分析师入门-学习笔记（第四节 爬虫的应用场景）
### 学习链接：[Python数据分析师入门](Https://Www.Bilibili.Com/Video/Bv15v4y1f7ju/?Vd_source=22d1d62b22f4b9c7051c7601ab55d92c "Python数据分析师入门") # 实际应用 企业中： 竞品调研数据采集 ......
python数据分析师入门-学习笔记（第三节）
### 学习链接：[python数据分析师入门](https://www.bilibili.com/video/BV15V4y1f7Ju/?vd_source=22d1d62b22f4b9c7051c7601ab55d92c "python数据分析师入门") # 爬虫到底是什么 ## 概括 ### ......
python数据分析师入门-学习笔记（第二节）
# 爬虫（数据采集） 1. ## 序言 - 爬虫到底是什么 - 爬虫的应用场景 - 爬虫的分类 - 爬虫合法吗 - 爬虫如何搞钱 2. ## 初级 1. 开始爬虫的准备工作 2. 爬虫的核心流程 3. 数据获取 4. 数据提取 5. 数据存储 6. 应对反爬虫 3. ## 中级 #### 1. 提升 ......
python数据分析师入门-学习笔记
# 第一节 数据分析整体介绍 ## 应用领域 - 数据分析 - 爬虫开发 - 数据存储 - 数据可视化 ## 数据分析内容 ### 1. 语言基础 - python基础 ### 2. 数据获取 - 爬虫课程 ### 3. 数据存储 - MySQL数据库 ### 4. 数据处理 - Numpy - P ......
springboot的controller如何拿到post请求中的json数据
在SpringBoot的Controller中，可以使用注解@RequestBody来获取POST请求中的JSON数据。我们可以将这个注解应用到一个Controller方法的参数上，Spring将会负责读取请求正文中的数据，将其反序列化为一个Java对象，并将其作为Controller方法的参数传递 ......
GoRedisLock：Golang保障数据一致性的分布式锁解决方案
在现代分布式系统中，多个节点之间共享资源是常见的需求。然而，并发访问共享资源可能导致数据不一致性和竞争条件。为了解决这些问题，我们需要引入分布式锁。GoRedisLock是一个出色的分布式锁库，它结合了Go语言和Redis的优势，提供了稳定高效的分布式并发控制解决方案。 **项目地址：** http ......
【模板】随机数据生成器
最近打了一次 Codeforces ，发现有很多小 bug 其实可以用随机数据 + assert 就能找出来的。而且也能验证一些猜想或者打表。每次都写这个东西太耗时间了。现在临时写一个后面慢慢完善。 ```cpp namespace RandomGenerator { const int MAXN ......
数据库基础—数据定义语言（DDL）
DDL全称是Data Definition Language，数据定义语言，用来定义数据库对象(数据库，表，字段) 。 一.数据库相关操作 1.查询所有数据库 show databases ; 2.查询当前数据库 select database() ; 3.创建数据库 create database ......
数据库基础—数据操作语言（DML）
DML英文全称是Data Manipulation Language(数据操作语言)，用来对数据库中表的数据记录进 行增、删、改操作。 一.增加数据 1.给指定字段添加数据 INSERT INTO 表名 (字段名1, 字段名2, ...) VALUES (值1, 值2, ...) 2.给全部字段添加 ......
EF Core入门 CodeFirst先在程序中建立要映射到数据库的实体结构，然后EntityFramework可以根据实体结构生成所对应的数据库,进行基本增删改查
EF Core入门 CodeFirst先在程序中建立要映射到数据库的实体结构，然后EntityFramework可以根据实体结构生成所对应的数据库,进行基本增删改查 原文链接： https://blog.csdn.net/qq_47053856/article/details/128378155 文 ......
新数据问题
vca的去噪算法对数据有影响，当时好像所有数据对。 这里的1，2，3，4对应的是specturh中的顺序 brown是1darkgreen是2vineyard是3peagreen是4（问题很大标签对不上啊，标签错误啊）还有个问题这3，4提不出来啊。应该是去噪问题啊。 但是欧式角很大。 这个欧式角是最 ......
浅谈数据库分库分表
[TOC] 本文主要介绍数据库分库分表相关的基础知识，包括分库分表是什么，为什么要分库分表，以及有哪些解决方案。 # 1.分库分表是什么 数据库分库分表，用英文表示是`"database sharding" or "database partitioning"`。 分库分表是指将一个大型数据库按照一 ......
爬虫数据保存到csv中
import json import os.path import time from jsonpath import * # import jsonpath as jsonpath import pandas as pd import requests # url = "http://www.wh ......
MySQL学习-DML（Data Manipulation Language）数据--select语句02
表连接：分为内连接和外连接，常用内连接。当需要同时显示多个表中字段时，就可以用表连接。 内连接：仅选出两张表中互相匹配的记录 外连接：还会选出其他不匹配的记录 外连接包含左连接和右连接 左连接： ......
锋迷商城-建库建表准备数据
数据库文件：链接: https://pan.baidu.com/s/1jsc7I8NYFqJvEdZNZA66ng?pwd=dxp1 提取码: dxp1 注：所有资源来源于B站涛哥锋迷商城项目教学视频 锋迷商城教学视频链接：https://www.bilibili.com/video/BV1gb4y ......
利用EasySQLMAIL的“交互式查询任务”快速实现简单的B/S结构数据查询工具
不写代码，如何在10分钟内做一个数据查询界面？本文介绍利用EasySQLMAIL的“交互式查询任务”快速实现简单的B/S结构数据查询工具。 ......
在 Amazon EMR 上构建实时数据湖
前言 当公司业务发展遇到瓶颈时，业务分析师以及决策者们总会希望通过交叉分析大量的业务数据和用户行为数据，以解答“为什么利润会下滑？”“为什么库存周转变慢了？”等问题，最终整点“干货”出来从而促进业务发展。 亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培 ......
Tensorflow数据的基本操作
```python # tensorflow里引入一个新的数据类型-张量(tensor)，与numpy的ndarray类似，是一个多维数组。和numpy的区别在于：numpy的ndarray只支持CPU计算，而张量支持GPU，可以通过GPU加速，提高速度，同时张量还支持自动微分计算，更适合深度学习 ......
大数据总结
这周我学了hive表数据导出 、分区表的使用、分桶表创建和分桶表数据加载等，我在这期间也学了学java爬虫和ssm等。 hive表数据导出 第二种，是放到了本地的不是放在HFDS里的 分区表的使用 分桶表创建 分桶表数据加载 ......
Java学习-2.简介、关键字、标识符、变量、数据类型、运算符
一、Java简介 Java最早是由SUN公司（已被Oracle收购）的詹姆斯·高斯林（高司令，人称Java之父）在上个世纪90年代初开发的一种编程语言，最初被命名为Oak，目标是针对小型家电设备的嵌入式应用，结果市场没啥反响。谁料到互联网的崛起，让Oak重新焕发了生机，于是SUN公司改造了Oak，在 ......
云数据库压测
MySQL性能压测或者基准测试看起来很简单，使用sysbench，tpcc工具跑跑拿到数据就好，其实压测是一个技术活儿，尤其是涉及到性能对比的测试，因为不同场景/不同厂商的产品的参数设置不同，测试的结果也不一样。如果不阐明具体的参数配置差异，直接给出压测结果可能给其他人带来误导。 本文针对三款主流的 ......
SAP CDS view 定义的数据库视图和传统 SQL 语句定义视图的区别
`SAP CDS (Core Data Services)` 是 SAP HANA 数据模型开发的一种技术。它提供了一种领域特定的语言，用于定义数据模型，以及对数据进行查询、转换和展示。与传统的 SQL（Structured Query Language）相比，SAP CDS view 语法具有许多 ......
EF 管理数据库架构
本章会主要了解EF提供的独立迁移项目，用独立迁移项目自动创建dgml设计关系图和sql脚本。 迁移项目通常也叫（CodeFirst代码优先），在EF中迁移项目是在，在代码中设计数据库，每次对数据库的设计都将被保留记录。这种模式只会向前修改，不会向后修改。因为一旦数据已经存在，不易删除改变结构，只能改 ......
[粘贴]使用 Dumpling 导出数据
https://docs.pingcap.com/zh/tidb/stable/dumpling-overview#dumpling-%E4%B8%BB%E8%A6%81%E9%80%89%E9%A1%B9%E8%A1%A8 使用数据导出工具 Dumpling，你可以把存储在 TiDB 或 MySQ ......
SAP Fiori Elements 应用 OData 元数据请求 url 里的模型名称决定逻辑
# 问题 我用 `yarn start` 本地启动一个 SAP Fiori Elements 应用，在 Chrome 开发者工具 network 面板，观察到一个 OData metadata 请求的 url 如下： `http://localhost:8080/sap/opu/odata/sap/ ......
el-select 无限下拉滚动加载数据
<template> <div> <el-form ref="saveParameter" :model="saveParameter" inline inline-message style="margin:10px" > <el-form-item label="供应商" prop="lngcu ......