笔记 数据hadoop hive
C# 调用WebService 笔记
最近开发工作涉及到一些关于webService调用的问题，因为太久没有做过这部分，踩了一点坑，做个笔记记录一下，避免下次踩坑。 说明 C#调用webService基本有两种方法，一种是静态调用，也就是添加到服务引用，还有一种方式是动态引用，动态引用的主要思路是通过url将DLL下载到本地，然后进行调 ......
php 数据安全性（过滤提交的数据）
1.在common.php公共方法加入 /** * 过滤sql与php文件操作的关键字 */ function filter_keyword( $string ) { $keyword = 'select|insert|update|delete|\'|\/\*|\*|\.\.\/|\.\/|uni ......
基于多节点多传感器融合的可穿戴无线数据采集系统架构解析
前记 随着无线和传感器技术的不断进步，无线设备在逐步朝着小型化，可穿戴领域发展，在一些医疗健康以及科研领域。需要对多个节点做传感器监测。因此，基于多传感器节点融合的可穿戴设备可以解决很多行业问题。比如，生理信号的遥测，风力发电机运行状态的遥测。新能源电池生产过程中故障监测等。 随着团队在可穿戴领域的 ......
C++字符串操作函数笔记#
1. strcpy() 从strSrc地址开始且含有'\0'结束符的字符串复制到strDest开始的地址空间中，返回值类型为char* char *strcpy( char *strDest, const char *strSrc ) { assert( (strDest != NUL) && (s ......
数据类型
数据类型 不同的数据会有不同的数据类型 为了定义不同数据，python提供了以下的数据类型 数字类型 整形 height=180 #作用：描述号码 #定义方式 height=180 #方法：+ - * % // 浮点型 #作用:商品99.9 #定义方法 salary=99.9 #方法：同上 1+1 ......
数据可视化是如何帮助我们快速实现归纳总结的？
在信息爆炸的时代，我们每天都面临着海量的数据，无论是个人生活中的各种记录，还是工作中的业务数据，都充斥着我们的日常。如何从这些数据中快速实现归纳总结，理清思路，找出关键信息？数据可视化应运而生，成为我们解读数据、洞察本质的得力助手。下面我就以可视化从业者的角度，来简单说说数据可视化是如何帮助我们快速 ......
Mysql数据同步至Elasticsearch
方案对比 鉴于Canal是一个基于MySQL二进制日志的高性能数据同步系统， go-mysql-elasticsearch 是一个第三方插件的，虽然都可以同步mysql数据到es，由于es官方文档推荐使用canal工具来同步数据，因此主要将Canal的使用方式提供给用户。 核心概念 名词 解释 my ......
Logstash全量、增量数据同步
Logstash-input-jdbc安装 logstash-input-jdbc插件是logstash 的一个个插件,使用ruby语言开发。所以要先安装ruby,也是为了好使用ruby中的gem安装插件，下载地址: https://rubyinstaller.org/downloads/，下载下来 ......
缓存数据库双写不一致
缓存数据库双写不一致 Redis 缓存与数据库 Mysql 双写不一致如何解决？方案2应该是最好的，也是最复杂的。其他都有很明显的问题。 对于频繁更新的数据不建议加缓存 异步更新缓存（基于订阅 binlog 的同步机制）：binlog 增量订阅消费 + 消息队列 + 增量数据更新到 redis 读 ......
【学习笔记】KMP 相关算法
KMP 单模式串匹配，比较平凡所以不说了，比较有借鉴意义的每次拓展一位和 \(nxt\) 数组能极大减少不合法的匹配，时间复杂度 \(O(|s|+|t|)\)。 引出一个定义，记满足 \(s[1,i]=s[|s|-i+1,|s|]\) 的前缀为字符串 \(s\) 的 \(\mathrm{border ......
我的设备产生了一些异常数据，如何找到？
对于异常值检测，我们可以使用一种称为"3倍中位数绝对偏差（3 times Median Absolute Deviation，3*MAD）"的方法。 using System; using System.Collections.Generic; using System.Linq; public c ......
选择什么样的数据安全交换系统，才能防止员工泄露数据？
数据泄露可能给企业带来诸多风险：财产损失、身份盗窃、骚扰和诈骗、经济利益受损、客户信任度下降、法律风险和责任等，《2021年度数据泄漏态势分析报告》中显示，在数据泄露的主体中，内部人员导致的数据泄漏事件占比接近60%。 员工数据外泄可能发生在数据生命周期的各个环节，从地理空间来划分，它可能发生在企业 ......
mit6.828 - lab5笔记（上）
文件系统结构 unix的文件系统相关知识 unix将可用的磁盘空间划分为两种主要类型的区域：inode区域和数据区域。 unix为每个文件分配一个inode，其中保存文件的关键元数据，如文件的stat属性和指向文件数据块的指针。 数据区域中的空间会被分成大小相同的数据块（就像内存管理中的分页）。数据 ......
openpyxl模块---读取数据
测试数据： 读取该表格内容： 代码如下： def open(): from openpyxl import load_workbook wb = load_workbook('C:/Users/admin/Desktop/baihuo.xlsx') ###获取工作簿 sh1 = wb.active ......
研发型企业如何选择高效便捷的数据摆渡解决方案？
研发型企业在市场经济发展中发挥着至关重要的作用，研发型企业是指以科技创新为核心，以研发新产品、新技术、新工艺为主要业务的企业。这类企业注重技术创新和研发，持续不断地进行技术创新和产品升级，为经济发展注入新鲜的活力。 研发型企业分布在各行各业，不论是以创新创造为核心的新兴产业，如人工智能、生物制药、高 ......
【开源项目】轻量元数据管理解决方案——Marquez
大家好，我是独孤风。 又到了本周的开源项目推荐。最近推荐的元数据管理项目很多，但是很多元数据管理平台的功能复杂难用。 那么有没有轻量一点的元数据管理项目呢？ 今天为大家推荐的开源项目，就是一个轻量级的元数据管理工具。虽然轻量，但是元数据的收集、展示、数据血缘等功能都是支持的。 让我们一起来看看吧~ ......
前端开发笔记[6]-基于Gradio的力声信号分析界面
摘要 基于Gradio的力声信号分析界面,实现Gradio页面内嵌html代码和svg图像; 备注 仅用作前端开发练习，不保证其中的信号处理方式及数据分析的学术性。 开源地址 [https://gitee.com/qsbye/pear-dsp-gradio] 平台信息 "pyaudio~=0.2.1 ......
一个小巧、快速、轻量级的 .NET NoSQL 嵌入式数据库
前言 今天给大家分享一个小巧、快速、轻量级的 .NET NoSQL 嵌入式数据库：LiteDB。本篇文章主要是介绍LiteDB和在.NET中如何使用。 LiteDB介绍 LiteDB 是一个小巧、快速和轻量级的 .NET NoSQL 嵌入式数据库。 无服务器的 NoSQL 文档存储 简单的 API， ......
gnuradio笔记[2]-观测理想信道和随机信道的眼图
摘要 使用gnuradio观测理想信道和随机信道的眼图; 平台信息 GNU Radio Companion:3.10.8.0 (Python 3.10.13) 原理简介 数字基带传输系统和数字带通传输系统 数字基带传输系统 数字基带传输系统是指将未经调制的基带信号直接送上信道的系统。基带信号是指信源 ......
在Python中利用内置SQLite3模块进行数据库操作的完整指南
在Python中，使用SQLite非常方便，Python内置了 SQLite3 模块，无需额外安装。SQLite 是一个轻量级的嵌入式数据库，适用于小型项目和单用户应用。以下是一个简单的示例，演示如何在 Python 中使用 SQLite，并提供了常见的查询、增加、修改和删除功能。 首先，确保你的 ......
读算法霸权笔记13_读后总结与感想兼导读
1. 基本信息 算法霸权：数学杀伤性武器的威胁 [美] 凯西·奥尼尔(Cathy 著 中信出版社,2018年9月出版 1.1. 读薄率 书籍总字数220千字，笔记总字数32359字。 读薄率32359÷220000≈14.71% 1.2. 读厚方向 算法的力量：人类如何共同生存？ 极简算法史：从数学 ......
Applescript成功实现imessage数据筛选,imessage蓝号检测,无痕检测手机号是否注册imessage的原理
一、imessages数据检测的两种方式:1.人工筛选，将要验证的号码输出到文件中，以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏，iMessage客户端会自动逐个检验该号码是否为iMessage账号，检验速度视网速而定。红色表示不是iMessage账号，蓝色表示iMessage账 ......
【python可视化大屏】使用python实现可拖拽数据可视化大屏
介绍： 我在前几期分享了关于爬取weibo评论的爬虫，同时也分享了如何去进行数据可视化的操作。但是之前的可视化都是单独的，没有办法在一个界面上展示的。这样一来呢，大家在看的时候其实是很不方便的，就是没有办法一目了然的看到数据的规律。为了解决这个问题我使用pyecharts实现了一个可视化的大屏。接下 ......
装载数据时报错：Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'
错误还原 hive (edu)> insert into huanhuan values(1,'haoge'); Query ID = root_20240110071417_fe1517ad-3607-41f4-bdcf-d00b98ac443e Total jobs = 1 Launching ......
Mysql 和 Redis 数据一致性问题
Mysql 和 Redis 数据一致性问题 https://www.cnblogs.com/scottyzh/p/17944675 https://juejin.cn/post/7302249560033853480 ......
数据结构查找
折半查找的判定树* 平均查找长度：O（log2n）。 结点的平衡因子定义为 节点的左子树深度与右子树深度之差。对于“平衡二叉树”平衡因子只可能为0,1,-1。若出现非三个值，则不平衡！ 解析折半查找树的步骤 首先就是要了解折半查找的步骤，然后依次将mid指向的值作为树的value。如下展示： 例如： ......
数据结构线性表
线性表的两种存储结构： 1.顺序存储（线性表若采用链式存储结构时，内存中可用存储单元的地址连续或不连续都可以） 2.链式存储（线性表若采用顺序存储结构时，必须占用一片连续的存储单元） 线性表的顺序存储结构 顺序存储结构在存、读数据时，不管是哪个位置，时间复杂度都是O(1)；而插入或删除时，时间复杂度 ......
数据结构树与二叉树
第五章 树及二叉树 书面作业 来源：算法与数据结构复习 第五章 树及二叉树(详解)_二叉树的中序遍历也可以循环地完成。给定循环中堆栈的操作序列如下(其中push为入-CSDN博客 一、判断题 1、某二叉树的前序和中序遍历序列正好一样，则该二叉树中的任何结点一定都无左孩子。 (T) 解析： 二叉树的前 ......
数据结构 图的基本知识
图的基本知识： 在n个结点的无向图中，若该图是连通图,则其边数大于等于n-1， 在n个结点的无向图中，若边数大于(n-2)(n-1)/2+1，则该图必是连通图 就是说连通是比较强的条件 2.用邻接矩阵法存储一个图所需的存储单元数目与图的边数有关。（） 正确 错误 这一题有歧义：如果不考虑邻接矩阵的压 ......