环保项目 时序 数据处理 难点
Redis set数据类型命令使用及应用场景使用总结
转载请注明出处： 目录 1.sadd 集合添加元素 2.srem移除元素 3.smembers 获取key的所有元素 4.scard 获取key的个数 5.sismember 判断member元素是否存在集合key中 6.srandmember key count 从集合key中随机选出count个 ......
Redis 中ZSET数据类型命令使用及对应场景总结
转载请注明出处： 目录 1.zadd添加元素 2.zrem 从有序集合key中删除元素 3.zscore 返回有序集合key中元素member的分值 4.zincrby 为有序集合key中元素增加分值 5.zcard获取有序集合key中元素总个数 6.zrange 正序获取分值范围内的元素 7.zr ......
HelloGitHub 最受欢迎的开源项目 Top10（2022年）
再见 2022，你好 2023！ HelloGitHub 也随着 2023 年的到来，更新到了第 81 期 开始迈向第 7 个年头啦。 在过去的 2022 年，我们一共发布了 12 期月刊、分享了 502 个开源项目，HelloGitHub 能够分享这么多有趣、好玩的开源项目，离不开开源爱好者的推荐 ......
C++进阶（位图+布隆过滤器的概念和实现+海量数据处理）
位图 概念 位图： 所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。 适用场景： 如果我们需要对大量的数据进行处理，判断该数据在不在，比如40亿个整形数据，如果我们用unordered_set来存放这些数据，大约需要占用16G的内存，显然这是 ......
electron + go 如何从sqlite获取数据
我现在的数据在sqlite中，保存在mac本地的一个文件中。用了electron+vue搭建了一个客户端。 我大概希望是这样的逻辑，先加载本地db文件，然后再获取数据。 这里就有一个问题，我怎么获取sqlite中的数据呢？从哪里加载呢？ 思考 electron的进程分为master Process ......
使用插件式开发称重仪表驱动，RS232串口对接各类地磅秤数据实现ERP管理
在ERP系统中，采集一线的生产数据是重要工作之一，而称重计量是企业的核心资产数据，人工计重费时费力，还容易出错，重量数据是否正确，直接影响企业的采购或销售额。基于此，由系统对接电子秤实现自动抓取数据是企业管理的第一步。 电子秤，一般由重量传感器、砝码、底座、仪表等组成。仪表与传感器相连，仪表一般具有 ......
大数据 - DWS层 业务实现
统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV（DAU）可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
从Java开源项目中总结出的常见坏实践（Bad Practice）
一些开源项目包含了各种编程的最佳实践供人参考学习和借鉴。但是也有一些开源项目虽然初衷是好的。但是包含了一些代码的坏实践。特别是对于一部分刚入行的大学生来说，可能会给到一些错误的示范。于是在此列举一些项目中的坏实践。 1.方法的用意判断是与否却返回字符串的“0”或者“1” 如果一个方法明确返回是与否这 ......
python 异常处理
python 异常处理 异常机制本质 异常是指程序运行过程中出现的非正常现象，例如用户输入错误、除数为零、需要处理的文件不存在等 所谓异常处理，就是指程序再出现问题时依然可以正确的执行剩余的程序，而不会因为异常而终止程序的运行 python 中，引进了很多用来描述和处理异常的类，称为异常类。异常类定 ......
为什么NoSQL数据库这么受欢迎？
大数据时代，NoSQL数据库是企业构建数据能力的核心工具之一。近期，在2022腾讯全球数字生态大会NoSQL数据库专场上，腾讯云发布了多项NoSQL产品能力升级，并重点讲解了其背后的自研技术要点及实现细节，分享了腾讯云NoSQL为广大企业提供的高可靠、高效率、低成本的企业级特性及行业解决方案。 开场 ......
红袖添香,绝代妖娆,Ruby语言基础入门教程之Ruby3基础数据类型(data types)EP02
Ruby是强类型动态语言，即Ruby中一旦某一个对象被定义类型，如果不通过强制转换操作，那么它永远就是该数据类型，并且只有在Ruby解释器运行时才会检测对象数据类型，它的一切皆为对象（包括 nil 值对象），可以通过调用内置class属性来获取该对象的具体数据类型。对于 Ruby 而言，所有类型都继 ......
.Net 7 团队把国内的龙芯确实当做一等公民及该版本中的弃用项目
楔子： 国内龙芯据说是用的自己的指令集，在研究ILC的时候，发现了龙芯在微软那边确实是一等公民的存在。 龙芯官网 龙芯平台.NET，是龙芯公司基于开源社区.NET独立研发适配的龙芯版本，我们会长期进行安全更新和错误修复，并持续进行性能优化。社区.NET7版本开始已经原生支持LoongArch64架构 ......
JAVA中使用最广泛的本地缓存？Ehcache的自信从何而来2 —— Ehcache的各种项目集成与使用初体验
本篇一起实践下Ehcache的各种不同使用方式，来感受下Ehcache的强大与便利。比如独立集成使用，基于JCache方式使用，以及通过Springboot+JCache+Ehcache方式集成使用等。 ......
万万没想到，go的数据库操作，也能像php一样溜了
Hi,各位go的小伙伴。很多人都是从php转过来的吧，不知道你们有没有发现，go界的orm并没有像php的orm一样好用。这篇文章里，我们认真的讨论下这个问题，并且会在后面提出解决方案。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
上一篇文章中我们聊了Caffeine的同步、异步的数据回源方式。本篇文章我们再一起研讨下经Caffeine改良过的异步数据驱逐处理实现，以及Caffeine支持的多种不同的数据淘汰驱逐机制和对应的实际使用。 ......
如何指定多个项目的 InternalsVisibleTo
InternalsVisibleTo 属性允许你指定一个或多个程序集，这些程序集可以访问当前程序集中的内部类型。经常在进行单元测试时使用，例如，你可以在一个项目中定义一个内部类型，然后在另一个项目中进行单元测试。本文将介绍如何指定多个项目的 InternalsVisibleTo，从而不需要在每个项目 ......
为 ASPNETCORE 7 项目添加 Serilog
本文将介绍如何为 ASP.NET Core 项目添加 Serilog。 添加 Serilog 首先，我们需要在项目中添加 Serilog 的 NuGet 包。 dotnet add package Serilog.AspNetCore 修改 Program.cs 在 Program.cs 中，添加 ......
如何轻松做数据治理？开源技术栈告诉你答案
搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的 DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。 ......
react 高效高质量搭建后台系统 系列 —— 请求数据
其他章节请看： react 高效高质量搭建后台系统 系列 请求数据 后续要做登录模块（主页），需要先和后端约定JSON数据格式，将 axios 进行封装，实现本地的数据模拟 mockjs。 Tip：spug 中后端返回 json 通常有 data 和 error两个 key。就像这样：{data: ......
手把手教你玩转 Excel 数据透视表
1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据，以帮助用户发现关键数据，并做出有关企业中 ......
Python AI小项目打包通关：Pyinstaller和Wix都用上了
最近有个Python小项目要打个包，项目结构比较简单 main.py（主文件）, 以及model_050.hdf5 (在云端训练好的AI模型） 主函数里引用了一些包，如下 需要解决的问题： 将main.py和model_050.hdf5打包到一个exe文件中，这样模型不会容易被别人拷贝走 将这些依赖 ......
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！
1、python爬虫讲解（requests向接口请求）。
2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ......
使用JsonConverter处理上传文件的路径
场景 我们上传一个文件，把文件保存到服务器上，会有一个明确的物理路径，由于需要从前端访问这个文件，还需要web服务器中的一个虚拟路径。这个虚拟路径的存储会有一个问题，我们应该在数据库里存什么？是带域名的全路径，还是相对于web根目录的相对路径？ 现在很多架构都是前后分离的，所以前端访问的url是全路 ......
一个理想的数据湖应具备哪些功能？
介绍 从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。 数据湖市场预计增长近 30%，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看，数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
css预处理器scss/sass语法以及使用
scss scss在css基础语法上面增加了变量 (variables)、嵌套 (nested rules)、混合 (mixins)、导入 (inline imports) 等高级功能，使用scss可以很方便的提高开发效率 scss语法以.scss文件后缀结尾，其中语法格式有两种sass,scss, ......
Visual Studio 2022 MAUI NU1105(NETSDK1005) 处理记录
故障说明 MAUI项目是日常使用的项目,一直都好好的 某一天修改了几行代码后,突然项目无法编译了,提示NU1105错误 从Git重新拉取一份之前的代码编译也是同样的错误,经过半天的查阅,尝试了几种方案都没有效果 删除obj/project.assets.json 删除obj 删除.vs 修复Visu ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
工业数据分析为什么要用FusionInsight MRS IoTDB？
摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB？》，作者：高深广 。 ......
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......