数字 学习网络 深度 数据库
electron + go 如何从sqlite获取数据
我现在的数据在sqlite中，保存在mac本地的一个文件中。用了electron+vue搭建了一个客户端。 我大概希望是这样的逻辑，先加载本地db文件，然后再获取数据。 这里就有一个问题，我怎么获取sqlite中的数据呢？从哪里加载呢？ 思考 electron的进程分为master Process ......
C++进阶（位图+布隆过滤器的概念和实现+海量数据处理）
位图 概念 位图： 所谓位图，就是用每一位来存放某种状态，适用于海量数据，数据无重复的场景。通常是用来判断某个数据存不存在的。 适用场景： 如果我们需要对大量的数据进行处理，判断该数据在不在，比如40亿个整形数据，如果我们用unordered_set来存放这些数据，大约需要占用16G的内存，显然这是 ......
使用插件式开发称重仪表驱动，RS232串口对接各类地磅秤数据实现ERP管理
在ERP系统中，采集一线的生产数据是重要工作之一，而称重计量是企业的核心资产数据，人工计重费时费力，还容易出错，重量数据是否正确，直接影响企业的采购或销售额。基于此，由系统对接电子秤实现自动抓取数据是企业管理的第一步。 电子秤，一般由重量传感器、砝码、底座、仪表等组成。仪表与传感器相连，仪表一般具有 ......
大数据 - DWS层 业务实现
统计主题 需求指标【ADS】输出方式计算来源来源层级 访客【DWS】pv可视化大屏page_log 直接可求dwd UV（DAU）可视化大屏需要用 page_log 过滤去重dwm UJ 跳出率可视化大屏需要通过 page_log 行为判断dwm 进入页面数可视化大屏需要识别开始访问标识dwd 连续 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
为什么NoSQL数据库这么受欢迎？
大数据时代，NoSQL数据库是企业构建数据能力的核心工具之一。近期，在2022腾讯全球数字生态大会NoSQL数据库专场上，腾讯云发布了多项NoSQL产品能力升级，并重点讲解了其背后的自研技术要点及实现细节，分享了腾讯云NoSQL为广大企业提供的高可靠、高效率、低成本的企业级特性及行业解决方案。 开场 ......
红袖添香,绝代妖娆,Ruby语言基础入门教程之Ruby3基础数据类型(data types)EP02
Ruby是强类型动态语言，即Ruby中一旦某一个对象被定义类型，如果不通过强制转换操作，那么它永远就是该数据类型，并且只有在Ruby解释器运行时才会检测对象数据类型，它的一切皆为对象（包括 nil 值对象），可以通过调用内置class属性来获取该对象的具体数据类型。对于 Ruby 而言，所有类型都继 ......
万万没想到，go的数据库操作，也能像php一样溜了
Hi,各位go的小伙伴。很多人都是从php转过来的吧，不知道你们有没有发现，go界的orm并没有像php的orm一样好用。这篇文章里，我们认真的讨论下这个问题，并且会在后面提出解决方案。 ......
解读JVM级别本地缓存Caffeine青出于蓝的要诀3 —— 讲透Caffeine的数据驱逐淘汰机制与用法
上一篇文章中我们聊了Caffeine的同步、异步的数据回源方式。本篇文章我们再一起研讨下经Caffeine改良过的异步数据驱逐处理实现，以及Caffeine支持的多种不同的数据淘汰驱逐机制和对应的实际使用。 ......
从一道CTF题学习python字节码到源码逆向
概述： 该题来源为2022爱春秋冬季赛ezpython，难度不是很大刚好适合我这样的萌新入门 题目： 3 0 LOAD_CONST 1 (204) 3 LOAD_CONST 2 (141) 6 LOAD_CONST 3 (44) 9 LOAD_CONST 4 (236) 12 LOAD_CONST ......
如何轻松做数据治理？开源技术栈告诉你答案
搭建一套数据治理体系耗时耗力，但或许我们没有必要从头开始搞自己的数据血缘项目。本文分享如何用开源、现代的 DataOps、ETL、Dashboard、元数据、数据血缘管理系统构建大数据治理基础设施。 ......
react 高效高质量搭建后台系统 系列 —— 请求数据
其他章节请看： react 高效高质量搭建后台系统 系列 请求数据 后续要做登录模块（主页），需要先和后端约定JSON数据格式，将 axios 进行封装，实现本地的数据模拟 mockjs。 Tip：spug 中后端返回 json 通常有 data 和 error两个 key。就像这样：{data: ......
手把手教你玩转 Excel 数据透视表
1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据，以帮助用户发现关键数据，并做出有关企业中 ......
Python Kconfiglib初次学习
1 参考 kconfiglib库官方介绍：kconfiglib · PyPI Kconfiglib源码：GitHub - ulfalizer/Kconfiglib: A flexible Python 2/3 Kconfig implementation and library Kconfig语法： ......
IT编程相关内容汇总 - 进阶者系列 - 学习者系列文章
笔者工作了十多年了，对于技术也有一定的经验，但是IT编程技术的更新是挺快的，特别是各种框架，各种中间件啥的都涌现出来了。这篇博文笔者打算将IT编程的前端、后端、数据库和移动端做一个博文知识汇总，让阅读笔者博客的读者能够有一个系统化学习编程技术的博文。前面已经有一个博文进行过相关的介绍，但是那个比较普 ......
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！
1、python爬虫讲解（requests向接口请求）。
2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ......
[深度学习] 基于切片辅助超推理库SAHI优化小目标识别
对象检测是迄今为止计算机视觉中最重要的应用领域。然而，小物体的检测和大图像的推理仍然是实际使用中的主要问题，这是因为小目标物体有效特征少，覆盖范围少。小目标物体的定义通常有两种方式。一种是绝对尺度定义，即以物体的像素尺寸来判断是否为小目标，如在COCO数据集中，尺寸小于32×32像素的目标被判定为小 ......
深度学习之Transformer网络
【博主使用的python版本：3.6.8】 本次没有额外的资料下载 Packages import tensorflow as tf import pandas as pd import time import numpy as np import matplotlib.pyplot as plt ......
Java基础类String学习分析
1 String不可变性 String类被声明为 final，因此它不可被继承。 内部使用char数组存储数据，该数组被声明为final，这意味着value数组初始化之后就不能再指向其它数组。 String内部没有改变value数组的方法 String类中所有修改String值的方法，如果内容没有改 ......
一个理想的数据湖应具备哪些功能？
介绍 从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。 数据湖市场预计增长近 30%，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看，数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
基于U-Net网络的图像分割的MindStudio实践
摘要：本实践是基于Windows版MindStudio 5.0.RC3，远程连接ECS服务器使用，ECS是基于官方分享的CANN6.0.RC1_MindX_Vision3.0.RC3镜像创建的。 本文分享自华为云社区《【MindStudio训练营第一季】基于U-Net网络的图像分割的MindStud ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
工业数据分析为什么要用FusionInsight MRS IoTDB？
摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB？》，作者：高深广 。 ......
学习.NET MAUI Blazor（一）、Blazor是个啥？
先把Blazor放一边，先来看看目前Web开发的技术栈。 注：上图只是为了说明问题，没有任何语言歧视！ 这是目前最常用的前后端分离开发模式，这个开发模式需要配备前端工程师和后端工程师。当然了，全栈工程师另当别论！ 那么我们按照这个模式进行各类项目开发，会有一些以下可能碰到的问题： 技术栈复杂 做一个 ......
学习.NET MAUI Blazor（二）、MAUI是个啥
随着.NET 7的发布，MAUI也正式发布了。那么MAUI是个啥？我们先来看看官方解释： .NET 多平台应用 UI (.NET MAUI) 是一个跨平台框架，用于使用 C# 和 XAML 创建本机移动和桌面应用。 (目录) 关于MAUI .NET MAUI，全称.NET Multi-platfor ......
学习.NET MAUI Blazor（三）、创建.NET MAUI Blazor应用并使用AntDesignBlazor
大致了解了Blazor和MAUI之后，尝试创建一个.NET MAUI Blazor应用。需要注意的是：虽然都叫MAUI，但.NET MAUI与.NET MAUI Blazor并不相同，MAUI还是以xaml为主，而MAUI Blazor则是以razor为主。 ......
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......