数据处理 客户端 客户 服务器
大数据经典论文解读 - Spanner
Spanner Megastore 存在各种缺点：跨实体组事务需要昂贵的两阶段事务，所有跨数据中心的数据写入都通过Paxos算法，使得单个实体组只能支持每秒几次的事务。 Spanner 是一个全新设计的新系统，而不是Megastore或Bigtable上的修修补补。两个主题： 解决了Megastor ......
数据库应用2023-04-08
msql like _ vs % In MySQL, the underscore (_) and percent sign (%) are wildcards used in LIKE expressions for pattern matching. The underscore matches ......
pandas数据保存至Mysql数据库,表创建成功,数据未能插入
准备：连接MySQL数据库所需的第三方包pymysql、sqlalchemy（pip安装即可） 方法一： from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://{}:{}@{}/{}?charset= ......
20230408---pg_dump: [归档 (db)] 与数据库 "xxx" 联接失败: 致命错误: 对用户"postgres"的对等认证失败
pg_dump: [归档 (db)] 与数据库 "wpfc" 联接失败: 致命错误: 对用户"postgres"的对等认证失败 不修改pg_hba.conf的情况下进入postgres用户执行 cd /home mkdir postgres chown -R postgres:postgres /h ......
基于Ubuntu20.04搭建nfs服务器
准备一台Ubuntu虚拟机 IP: 192.168.129.114 安装nfs-server sudo apt-get install nfs-kernel-server 添加 NFS 共享目录 sudo vim /etc/exports 添加一行 * 表示允许任何网段 IP 的系统访问该 NFS ......
.net6使用Nlog生成日志文件和日志写入sqlserver数据库
创建sqlserver的日志表 CREATE TABLE [dbo].[NLog]( [Id] [BIGINT] IDENTITY(1,1) NOT NULL, [Application] [NVARCHAR](50) NOT NULL, [Logged] [DATETIME] NOT NULL, ......
JAVA实现单链表修改和删除数据节点
JAVA实现单链表修改和删除数据节点 一、修改单链表中的一个节点 ①实现思路 因为带头节点的链表中头节点的next域不能发生改变（始终指向单链表的头节点），否则将找不到该链表。所以我们需要先找一个辅助节点temp来进行节点代理操作。 通过遍历链表，使辅助节点temp后移，找到要修改的节点。 然后进行 ......
机器学习（四）：4层BP神经网络（只用numpy不调包）用于训练鸢尾花数据集|准确率96%
题目： 设计四层BP网络，以g(x)=sigmoid(x)为激活函数， 神经网络结构为：[4，10，6, 3]，其中，输入层为4个节点，第一个隐含层神经元个数为10个节点；第二个隐含层神经元个数为6个节点，输出层为3个节点 利用训练数据iris-train.txt对BP神经网络分别进行训练，对训练后 ......
第 4-5 章 Linux 4基础篇-目录结构-5远程登录到 Linux 服务器
第 4-5 章 Linux 4基础篇-目录结构-5远程登录到 Linux 服务器 4.1 Linux 目录结构 4.1.1 基本介绍 1)linux 的文件系统是采用级层式的树状目录结构，在此结构中的最上层是根目录“/”，然后在此目录下再创建其他的目录。 2)深刻理解 linux 树状文件目录是非常 ......
数字营销（二）如何确定付费客户特征？
一、为什么要确定付费客户特征？ 先讲个案例，以 Shopify 网站为例进行分析。该网站提供了许多功能，围绕着潜在客户在全生命周期中所需的业务需求，包括从创建业务开始、赚取收益等整个闭环链上所需的任何工具，如： 开始做生意：Business name generator 在线工具、域名选择页面、Bu ......
mogodb 同步数据到 ElasticSearch
1、需安装：mogodb ElasticSearch monstache 2、mogodb创建副本集 主副主开启副本集设置： replication: replSetName: "S1" 副机关闭防火墙，设置 net: port: 27017 bindIp: 0.0.0.0 "C:\Program ......
python之json格式化与紧凑处理
格式化 在工作中json是我们常用的数据格式，因为格式化与紧凑存储所占的内存是不同的，格式化存储接近大一倍空间。所以有时候需要紧凑存储（一行存储），但是查看不太方便。 场景： 记事本打开json的速度最快，但是没有格式化功能。 notepad++可以格式化但是需要联网安装插件，内网环境不能下载 vs ......
vs调试“字符串中字符无效”处理办法
在使用VS2019调试代码时，查看变量值时，utf8格式字符串不能正常显示，需要在变量名后手动添加",s8"，就能正常查看字符啦。 总结如下： ,s8：将字符串转成unicode展示 ,数字 将变量拆分为数组显示, 数字是要显示多少位, 此法对const char*这类原始字符串非常有用 ,x 16 ......
在android的fragment中使用子线程查询的数据如何实时更新在主界面的listview中
public class YourFragment extends Fragment { private ListView mListView; private YourAdapter mAdapter = new YourAdapter(getContext(), new ArrayList<Yo ......
PG-表膨胀及处理
背景 最近处理了几起线上实例表膨胀的问题。表膨胀是指表的数据和索引所占文件系统的空间，在有效数据量并未发生大的变化的情况下，不断增大。PG使用过程中需要特别关注这方面，我们来给大家解析一下表膨胀的原因。 表膨胀的直接触发因素是表上的大量更新，如全表的update操作、大量的insert+delete ......
云计算技术：为什么越来越多企业选择云端存储和处理
随着互联网的发展，云计算技术已经成为了企业存储和处理数据的首选方式。越来越多的企业选择将数据存储在云端，而不是传统的本地存储方式。那么，为什么云计算技术如此受欢迎呢？ 首先，云计算技术可以提供更高效的数据存储和处理方式。云计算技术可以通过虚拟化技术将多个物理服务器组合成一个虚拟服务器，从而提高了服务 ......
Mysql_无法删除数据库的处理方法
问题现象 使用Navicat删除数据库一直转圈 定位问题 执行 SHOW PROCESSLIST; 提示元数据无法被锁定 执行 select * from information_schema.innodb_trx\G; 发现有进程一直处于运行中 解决方法 kill 进程id 重新查看 没有 Wai ......
正太分布数据排序后分段数据的方差与标准差
clc close num=46000; step=23000; n=num/step; arr=randn(num,1) * 8.239027791394347 + 70; std(arr) mean(arr) arr_s=sort(arr); s=zeros(step,n); std_arr=z ......
5.调试客户端和服务端
笔记软件在2023/4/6 14:01:13推送该笔记 调试客户端和服务端 调试客户端代码就像调试普通插件一样简单。在代码中打上断点，然后按F5启动插件调试。 ......
6.服务端中设置Configuration
笔记软件在2023/4/7 17:21:11推送该笔记 当我们写插件的客户端部分的时候，我们已经定义了一个控制最大问题报告数的配置。所以我们也可以在服务器中写一段读取客户端配置的代码 function getDocumentSettings(resource: string): Thenable<E ......
1.实现语言客户端
笔记软件在2023/4/6 14:01:04推送该笔记 Language Client "activationEvents": [ "onLanguage:plaintext" ] 这个部分告诉VS Code只要打开纯文本文件之后就立刻激活插件（例如：打开一个.txt文件） "configurat ......
语言服务器
笔记软件在2023/4/6 15:08:06推送该笔记 语言服务器与客户端 语言服务器 语言客户端 语言服务器运行在单独的进程有两个好处： 只要能通过LSP通信，语言分析工具可以用任何语言实现。 语言分析工具一般非常消耗CPU和内存，在单独的进程中运行能避免大性能开销 lsp-sample：本篇教程 ......
2.实现语言服务端
笔记软件在2023/4/6 14:01:06推送该笔记 Language Server 这个语言服务器的源码在/server中。比较重要的pacakge.json部分是 "dependencies": { "vscode-languageserver": "^6.1.1", "vscode-lang ......
数据结构 玩转数据结构 12-3 检查二分搜索树性质和平衡性
0 课程地址 https://coding.imooc.com/lesson/207.html#mid=14348 1 重点关注 1.1 代码草图 1.2 代码实现检查二分搜索树和平衡性 利用了二分搜索树中序遍历由小到大的特性 和 平衡二叉树的平衡因子大于1的特性 //1 校验二分搜索树(中序遍历参 ......
大数据平台能力要求
（一）建设背景及政策依据大数据能力平台已成为智慧建设的必要基础2021年初开始要加快推进国家规划已明确的重大工程和基础设施建设，其中要加快 5G 网络、数据中心等新型基础设施建设进度，“新基建”概念呼之欲出。“新基建”是服务于国家长远发展和“两个强国”建设战略需求，以技术、产业驱动，具备集约高效、经 ......
数据转单层字典
def data2single_dict(source, parent_name: str = ""): result = {} if isinstance(source, dict): for k, v in source.items(): column_name = f"{parent_name ......
SpringBoot微服务打war包，使用idea启动
一，IDEA整合Tomcat服务器 1.下载tomcat 2. 在idea中打开File -> Settings -> Build, Execution, Deployment -> Application Servers 并配置tomcat存放目录，注意是bin的上一层 二，IDEA中动态web工 ......
【大数据】什么是数据集成？（SeaTunnel 集成工具介绍）
一、什么是数据集成？ 数据集成是指将来自不同数据源的数据整合到一起形成一个统一的数据集。这个过程包括从不同的数据源中收集数据，对数据进行清洗、转换、重构和整合，以便能够在一个统一的数据仓库或数据湖中进行存储和管理。 数据集成可以帮助企业更好地理解和利用他们的数据，并促进数据驱动的决策和业务流程优化。 ......
flask_day05：信号 Django信号 flask-script sqlalchemy 创建操作数据表
鲁棒性 链路，链路追踪， 上下游，大的单体应用，上游还是前端，后端是Django写的 回顾 1.导出项目依赖 pipreqs 2.函数和方法 3.local对象 并发编程中的一个对象，它可以保证多线程并发访问数据安全 本质原理是：不同的线程，操作的是自己的数据 不支持协程 4.自己定义local，支 ......