数据处理 客户端 客户 服务器
.NET Core MongoDB数据仓储和工作单元模式封装
前言 上一章我们把系统所需要的MongoDB集合设计好了，这一章我们的主要任务是使用.NET Core应用程序连接MongoDB并且封装MongoDB数据仓储和工作单元模式，因为本章内容涵盖的有点多关于仓储和工作单元的使用就放到下一章节中讲解了。仓储模式（Repository ）带来的好处是一套代码 ......
C# 连接数据库
一、SQL SERVER 连接字符串语法： 1、SQL SERVER验证（两种写法）（安全连接） string connStr = "Data Source=.;Initial Catalog=DatabaseName;User Id=sa;Password=123"; 或 string connS ......
爬虫最后一天,爬取到的数据存到mysql中，爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则
==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
多条数据并成一条后合并查询（Power Query）
问题：两表合并，其中一表有重复的数据需要事先求和或合并 let 源 = Excel.CurrentWorkbook(){[Name="表1"]}[Content], 合并查询 = Table.NestedJoin(源, {"订单号"}, 表2, {"订单号"}, "表2", JoinKind.Lef ......
sqlite数据库在close()之后任然不能释放与db文件的连接
conn.Close();conn.Dispose(); 在close和dispose后，必须要加上以下两句代码，让垃圾回收机制启动，否则仍不能释放与db文件的连接 GC.Collect(); GC.WaitForPendingFinalizers(); ......
springboot 访问服务器静态资源
一 应用场景 一个springboot的应用，需要访问服务器/home/webapp/upload 目录下的静态资源。一般是动态上传的图片，需要访问时，需要用到。 二 实现方式 1. 配置文件 wycms: # 文件路径 示例（ Windows配置file:D:/wycms/uploadPath，L ......
【Spring专题】「技术原理」从源码角度去深入分析关于Spring的异常处理ExceptionHandler的实现原理
ExceptionHandler的作用 ExceptionHandler是Spring框架提供的一个注解，用于处理应用程序中的异常。当应用程序中发生异常时，ExceptionHandler将优先地拦截异常并处理它，然后将处理结果返回到前端。该注解可用于类级别和方法级别，以捕获不同级别的异常。 在Sp ......
本地数据库忘记密码
一、概述 系统：win11 数据库： SQL SERVER 忘记了sa的密码。 二、重置密码 2.1 Windows身份认证登入 2.2 选择账户属性 有机sa,选择属性。 2.3 确认服务器角色 sa一般都是公共角色和系统管理员 2.4 重置密码 直接在密码和确认密码中完成密码重置 2.5 退出登 ......
（已解决）安装PyMySQL出现问题--'pip' 不是内部或外部命令，也不是可运行的程序 或批处理文件
问题描述： 输入cmd,进入命令窗口，输入pip install pymysql时候出现下面的问题： 然后进入python环境中去输入还是报错： 问题原因：环境变量配置出错，cmd下无法调用pip程序。 解决办法： ①首先退出python环境，输入命令：exit() ②然后去电脑里面找到python ......
html_table获取当前数据
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <body> <table border="1px"> <tr id="filed"> <td id="id">ID ......
第7章_InnoDB数据存储结构
1. 数据库的存储结构：页 索引结构给我们提供了高效的索引方式，不过索引信息以及数据记录都是保存在文件上的，确切说是存储在页结构中。另一方面，索引是在存储引擎中实现的，MysQL服务器上的存储引擎负责对表中数据的读取和写入工作。不同存储引擎中存放的格式一般是不同的，甚至有的存储引擎比如Memory都 ......
【Java 并发】【十】【JUC数据结构】【三】LinkedBlockingQueue阻塞队列原理
1 前言 这节我们就来看看LinkedBlockingQueue内部实现的原理。 2 LinkedBlockingQueue的使用 在看原理之前我们先来用一用LinkedBlockingQueue，来体验一下： 2.1 插入数据 public class LinkedBlockingQueueTes ......
大数据面试题集锦-Hadoop面试题(一)
你准备好面试了吗?这里有一些面试中可能会问到的问题以及相对应的答案。 1、集群的最主要瓶颈 磁盘IO 2、Hadoop运行模式 单机版、伪分布式模式、完全分布式模式 3、Hadoop生态圈的组件并做简要描述 Zookeeper：是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服 ......
在云服务器上搭建hexo博客（亲测可用）
### 前言 本来博客是用wordpress在服务器搭建的，但苦于wordpress的后端语言是php，对markdown的支持也不尽如人意，最终还是放弃了wordpress，转战后端为Node的Hexo框架。 **整体思路：** 1. 在服务器上配置Git环境，创建Git仓库2. 在主机安 ......
ChatGLM-6B云服务器部署（以恒源云为例）
写在前面： ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数，使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。由于其对显存硬件要求较高（详见下图），对于硬件配置较低的使用者不太 ......
【Java 并发】【十】【JUC数据结构】【二】BlockingQueue阻塞队列原理
1 前言 这节我们就来看看BlockingQueue阻塞队列是什么都有哪些具体实现。 2 BlockingQueue阻塞队列是什么 BlockingQueue阻塞队列，它是一个提供阻塞功能的队列容器。首先它是一个队列容器，能够存储东西，提供数据入队功能，进行数据存入；提供数据取出功能，进行出队，如下 ......
BlockingQueue读取文本内容，多线程处理数据（线程池版本）
import java.io.BufferedReader; import java.io.FileReader; import java.io.FileWriter; import java.io.IOException; import java.util.concurrent.*; public ......
BlockingQueue读取文本内容，多线程处理数据
现在有一个txt文本，每个文本中每行的内容是：id,商品id。 要求：启动一个线程去读取文本的内容，把每行的内容通过使用BlockingQueue发送到队列里面，然后多线程，最好是10个线程，从BlockingQueue队列里面取出来，将地址作为请求参数，请求api接口，把返回的内容解析出来，把原内 ......
大数据经典论文解读 - S4 + Storm
S4 流式计算的模型是什么样？要解决哪些问题？ S4是如何设计，如何进行分布式计算的？ S4有哪些缺陷？ 在分析海量用户搜索、广告点击行为时，这个处理数据的的需求和MapReduce生成报表类似，但是要求数据统计的反馈时间尽可能短。如果频繁使用MapReduce将不得不面对： 大量“额外开销”Map ......
将Vue项目部署到Tomcat服务器上（简单、粗暴）
1. 将项目打包 Vue中自带webpack，可以通过一行命令将项目打包 # 执行该命令打包 npm run build 2. 上传相应文件到服务器上 打包完成后，项目中会多出一个dist文件夹， 这个文件夹中就包含html、css、js等文件 直接将dist文件夹上传到Tomcat的ROOT目录下 ......
[数据分析与可视化] Python绘制数据地图2-GeoPandas地图可视化
本文主要介绍GeoPandas结合matplotlib实现地图的基础可视化。GeoPandas是一个Python开源项目，旨在提供丰富而简单的地理空间数据处理接口。GeoPandas扩展了Pandas的数据类型，并使用matplotlib进行绘图。GeoPandas官方仓库地址为：GeoPandas ......
精讲MySQL数据库两大知识点：主从复制与读写分离（慕课网没有的，只有哔哩哔哩有的教程）
精讲MySQL数据库两大知识点：主从复制与读写分离 https://www.bilibili.com/video/BV16i4y1g7TF/?spm_id_from=333.337.search-card.all.click&vd_source=177322cf37f4d2f9c779b40ce7a ......
[zookeeper] 集群搭建及启动后查询服务器状态异常解决
一、集群搭建 1、每台服务器上部署zookeeper 1、将zookeeper压缩包解压到指定位置，在zookeeper解压后目录下创建数据目录zkData 2、在zkData下创建myid文件，内容写上数字，代表该zookeeper的唯一id 3、修改conf目录下的zoo_sample.cfg为 ......
MySQL数据库
数据的基本知识 1.什么是数据库 保存数据的仓库，它体现在我们电脑中，就是一个软件或者文件系统，然后把数据都保存在特殊的文件中。并且需要使用固定的语言(SQL语言/语句)去操作文件中的数据。数据库（DataBase，简称DB） 2.数据库管理系统 管理数据库的大型软件，英文名：DataBase Ma ......
剑指 Offer 41. 数据流中的中位数
题目链接：剑指 Offer 41. 数据流中的中位数 方法一：插入排序 解题思路 每次添加一个数字时，通过插入排序添加，需要返回中位数时，根据元素个数进行返回。 代码 class MedianFinder { private: vector<int> nums; public: /** initia ......
【Java 并发】【十】【JUC数据结构】【一】CopyOnWriteArrayList原理
1 前言 我们前面看过了volatile、synchronized以及AQS的底层原理，以及基于AQS之上构建的各种并发工具，ReentrantLock、CountDownLatch、Semaphore、CyclicBarrier，那么我们这节该看什么了，是不是要看运用了。在日常的业务编程中经常使用 ......
mysql与redis如何保证数据一致性
1.先更新MySQL数据库，再删除缓存，再从数据库查询到的最新的数据同步到redis。采用最终一致性性策略。 缺点：相较于mq的方式，这种方式由于要查数据库并将最新数据写到redis，可能会造成接口响应速度变慢。 2.更新mysql数据库，再采用mq异步的方式，将数据同步到redis中。 缺点：数据 ......
SAP ABAP 释放 TR 遇到错误消息 ended with return code 8 的含义和处理办法
我的知识星球里有朋友提问： se09释放请求号报错：ended with return code : >8< 这个问题该如何解决？ 这是 ABAP Transport Request 释放时的一个 Generic 错误消息。熟悉 ABAP 编程的朋友都知道，很多 ABAP 关键字执行后，通过系统变量 ......