随笔 数据
flask之信号，flask-script，sqlalchemy介绍和快速使用，创建操作数据表
flask之信号，flask-script，sqlalchemy介绍和快速使用，创建操作数据表 昨日回顾 # 1 local对象 并发编程中的一个对象 它可以保证多线程并发访问数据 本质原理是：不同的线程 操作的是自己的数据 不支持协程 # 2 自己定义local 支持线程和协程 # 注意点一： t ......
数据结构
数据结构，也就是 Data Structure，是一种存储数据的结构体，数据与数据之间存在着一定的关系，这样的关系有数据的逻辑关系、数据的存储关系和数据的运算关系。 在 Java 中，数据结构一般可以分为两大类：线性数据结构和非线性数据结构。 数组 数组这种数据结构最大的好处，就是可以根据下标（或者 ......
Android 数据库
activity_main.xml <?xml version="1.0" encoding="utf-8"?> <androidx.constraintlayout.widget.ConstraintLayout xmlns:android="http://schemas.android.com/ ......
数据库sqlalchemy
sqlalchemy 是一个基于python的orm框架，可以让我们在python中可以使用sql操作数据库 flask 中没有orm框架 都是使用sqlalchemy作为操作数据库表的模块 fastapi 也是使用的sqlchemy 1.安装 pip3.8 install sqlalchemy # ......
【Java 并发】【十】【JUC数据结构】【五】DelayQueue延迟阻塞队列原理
1 前言 前两节我们看了BlockingQueue阻塞队列的两个子类，LinkedBlockingQueue、ArrayBlockingQueue，它们都是使用了ReentrantLock、Condition的来实现的，在进行插入操作、拉取数据操作之前为了并发安全都需要进行加锁；然后插入时候在容量满 ......
.NET Core MongoDB数据仓储和工作单元模式封装
前言 上一章我们把系统所需要的MongoDB集合设计好了，这一章我们的主要任务是使用.NET Core应用程序连接MongoDB并且封装MongoDB数据仓储和工作单元模式，因为本章内容涵盖的有点多关于仓储和工作单元的使用就放到下一章节中讲解了。仓储模式（Repository ）带来的好处是一套代码 ......
C# 连接数据库
一、SQL SERVER 连接字符串语法： 1、SQL SERVER验证（两种写法）（安全连接） string connStr = "Data Source=.;Initial Catalog=DatabaseName;User Id=sa;Password=123"; 或 string connS ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
多条数据并成一条后合并查询（Power Query）
问题：两表合并，其中一表有重复的数据需要事先求和或合并 let 源 = Excel.CurrentWorkbook(){[Name="表1"]}[Content], 合并查询 = Table.NestedJoin(源, {"订单号"}, 表2, {"订单号"}, "表2", JoinKind.Lef ......
sqlite数据库在close()之后任然不能释放与db文件的连接
conn.Close();conn.Dispose(); 在close和dispose后，必须要加上以下两句代码，让垃圾回收机制启动，否则仍不能释放与db文件的连接 GC.Collect(); GC.WaitForPendingFinalizers(); ......
本地数据库忘记密码
一、概述 系统：win11 数据库： SQL SERVER 忘记了sa的密码。 二、重置密码 2.1 Windows身份认证登入 2.2 选择账户属性 有机sa,选择属性。 2.3 确认服务器角色 sa一般都是公共角色和系统管理员 2.4 重置密码 直接在密码和确认密码中完成密码重置 2.5 退出登 ......
html_table获取当前数据
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <table border="1px"> <tr id="filed"> <td id="id">ID ......
第7章_InnoDB数据存储结构
1. 数据库的存储结构：页 索引结构给我们提供了高效的索引方式，不过索引信息以及数据记录都是保存在文件上的，确切说是存储在页结构中。另一方面，索引是在存储引擎中实现的，MysQL服务器上的存储引擎负责对表中数据的读取和写入工作。不同存储引擎中存放的格式一般是不同的，甚至有的存储引擎比如Memory都 ......
【Java 并发】【十】【JUC数据结构】【三】LinkedBlockingQueue阻塞队列原理
1 前言 这节我们就来看看LinkedBlockingQueue内部实现的原理。 2 LinkedBlockingQueue的使用 在看原理之前我们先来用一用LinkedBlockingQueue，来体验一下： 2.1 插入数据 public class LinkedBlockingQueueTes ......
大数据面试题集锦-Hadoop面试题(一)
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。 1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述 Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服 ......
【Java 并发】【十】【JUC数据结构】【二】BlockingQueue阻塞队列原理
1 前言 这节我们就来看看BlockingQueue阻塞队列是什么都有哪些具体实现。 2 BlockingQueue阻塞队列是什么 BlockingQueue阻塞队列，它是一个提供阻塞功能的队列容器。首先它是一个队列容器，能够存储东西，提供数据入队功能，进行数据存入；提供数据取出功能，进行出队，如下 ......
BlockingQueue读取文本内容，多线程处理数据（线程池版本）
import java.io.BufferedReader; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.concurrent.*; public ......
BlockingQueue读取文本内容，多线程处理数据
现在有一个txt文本，每个文本中每行的内容是：id,商品id。 要求：启动一个线程去读取文本的内容，把每行的内容通过使用BlockingQueue发送到队列里面，然后多线程，最好是10个线程，从BlockingQueue队列里面取出来，将地址作为请求参数，请求api接口，把返回的内容解析出来，把原内 ......
大数据经典论文解读 - S4 + Storm
S4 流式计算的模型是什么样？要解决哪些问题？ S4是如何设计，如何进行分布式计算的？ S4有哪些缺陷？ 在分析海量用户搜索、广告点击行为时，这个处理数据的的需求和MapReduce生成报表类似，但是要求数据统计的反馈时间尽可能短。如果频繁使用MapReduce将不得不面对： 大量“额外开销”Map ......
日常随笔2023.4.9
# 日常随笔2023.4.9 最近有些在脑海中有些许胡思乱想，我总是爱这样毫无边际的去幻想。这种行为是无法停止，所以倒不如尝试着回头去追忆自己想过的东西，一方面总结有用的经验，能加深自己的印象，另一方面，想和写是两码事情，想象可以没有逻辑，自由自在，但写作确实要讲究逻辑，不能任由散乱去主导自己的 ......
阿文随笔
出差了两个月有余终于回来了，公司里的各种，都有点陌生了，原先几个比较熟悉的同事已经被派到其他的项目上去了，由于业务的原因大部分都不在上海了，短期内我又变得有些无助了。以前看过刘青云主演的《神探》，年轻的警察的内心写照是一个谨慎胆小的孩子，我的情况大概类似。下周又要出差了，姑且算是吧，但是离得不是很远 ......
[数据分析与可视化] Python绘制数据地图2-GeoPandas地图可视化
本文主要介绍GeoPandas结合matplotlib实现地图的基础可视化。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas ......
精讲MySQL数据库两大知识点：主从复制与读写分离（慕课网没有的，只有哔哩哔哩有的教程）
精讲MySQL数据库两大知识点：主从复制与读写分离 https://www.bilibili.com/video/BV16i4y1g7TF/?spm_id_from=333.337.search-card.all.click&vd_source=177322cf37f4d2f9c779b40ce7a ......
MySQL数据库
数据的基本知识 1.什么是数据库 保存数据的仓库，它体现在我们电脑中，就是一个软件或者文件系统，然后把数据都保存在特殊的文件中。并且需要使用固定的语言(SQL语言/语句)去操作文件中的数据。数据库（DataBase，简称DB） 2.数据库管理系统 管理数据库的大型软件，英文名：DataBase Ma ......
剑指 Offer 41. 数据流中的中位数
题目链接：剑指 Offer 41. 数据流中的中位数 方法一：插入排序 解题思路 每次添加一个数字时，通过插入排序添加，需要返回中位数时，根据元素个数进行返回。 代码 class MedianFinder { private: vector<int> nums; public: /** initia ......
【Java 并发】【十】【JUC数据结构】【一】CopyOnWriteArrayList原理
1 前言 我们前面看过了volatile、synchronized以及AQS的底层原理，以及基于AQS之上构建的各种并发工具，ReentrantLock、CountDownLatch、Semaphore、CyclicBarrier，那么我们这节该看什么了，是不是要看运用了。在日常的业务编程中经常使用 ......
mysql与redis如何保证数据一致性
1.先更新MySQL数据库，再删除缓存，再从数据库查询到的最新的数据同步到redis。采用最终一致性性策略。 缺点：相较于mq的方式，这种方式由于要查数据库并将最新数据写到redis，可能会造成接口响应速度变慢。 2.更新mysql数据库，再采用mq异步的方式，将数据同步到redis中。 缺点：数据 ......
03数据类型详解
数据类型详解 main快捷键写法：psvm tap 输出语句： sout tap \t 制表符 补满一定位数：idea中4补码位 多行注释，选中代买， ctar / 变量 变量存在于内存中（程序结束，计算机关机之后，变量失效） 变量像宾馆 宾馆：1.申请房间类型（三人间，单人间...） 2.入住（房 ......