自然语言 数据 模型 文本
react 高效高质量搭建后台系统 系列 —— 请求数据
其他章节请看： react 高效高质量搭建后台系统 系列 请求数据 后续要做登录模块（主页），需要先和后端约定JSON数据格式，将 axios 进行封装，实现本地的数据模拟 mockjs。 Tip：spug 中后端返回 json 通常有 data 和 error两个 key。就像这样：{data: ......
手把手教你玩转 Excel 数据透视表
1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视，并建立交叉表格，用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据，以帮助用户发现关键数据，并做出有关企业中 ......
深入理解 dbt 增量模型
想要实现数据增量写入数据库，可以选择 dbt 增量模型。通过 dbt 增量模型，我们只用专注于写日增 SQL，不用去关注于如何安全的实现增量写入。 dbt 增量模型解决了什么问题 原子性写入：任何情况下，增量写入只有一个程序在写入。 假设增量程序已经上线，线上增量程序在执行的同时，开发也在本地执行增 ......
终于弄明白了 RocketMQ 的存储模型
RocketMQ 优异的性能表现，必然绕不开其优秀的存储模型 。 这篇文章，笔者按照自己的理解 , 尝试分析 RocketMQ 的存储模型，希望对大家有所启发。 1 整体概览 首先温习下 RocketMQ 架构。 整体架构中包含四种角色 : Producer ：消息发布的角色，Producer 通过 ......
【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据！
用python爬取并分析《2021胡润百富榜》的榜单数据！
1、python爬虫讲解（requests向接口请求）。
2、python数据分析讲解（pandas数据分析及可视化画图）含：直方图、柱形图、饼图、词云图等。 ......
一个理想的数据湖应具备哪些功能？
介绍 从数据库到数据仓库，最后到数据湖，随着数据量和数据源的增加，数据格局正在迅速变化。 数据湖市场预计增长近 30%，将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看，数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
C语言两结构体之间的成员互换
今天在写一个通讯录实现程序的时候，遇到个让我突然卡壳的问题，不知道怎么进行两个结构体之间的成员互换......结构体成员有“姓名”，“性别”，“年龄”，“地址”，“电话”，目的就是实现一个通过年龄进行sort排序的功能，作为一个努力学习的编程小白来说，有太多的东西需要学习了..........代码如 ......
比Sqoop功能更加强大开源数据同步工具DataX实战
前面两篇连续介绍两个数据同步组件后，好事应有三，大满贯收场，本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程，将其与大名鼎鼎大数据同步组件Sqoop做对比，部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
工业数据分析为什么要用FusionInsight MRS IoTDB？
摘要：MRS IoTDB，它是华为FusionInsight MRS大数据套件中的时序数据库产品，在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB？》，作者：高深广 。 ......
C语言指针常见问题
我们在学C语言时，指针是我们最头疼的问题之一，针对C语言指针，博主根据自己的实际学到的知识以及开发经验，总结了以下使用C语言指针时常见问题。 指针 指针做函数参数 学习函数的时候，讲了函数的参数都是值拷贝，在函数里面改变形参的值，实参并不会发生改变。 如果想要通过形参改变实参的值，就需要传入指针了。 ......
一次SQL调优 聊一聊 SQLSERVER 数据页
一：背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化，花了些时间调优，遗憾的是 SQLSERVER 非源码公开，玩起来不是那么顺利，不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它，争取在 SQLSERVER 性能优化上做一些成绩，哈哈！ 个人觉得要想深入研究 SQLSERVER， ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
Redis网络模型究竟有多强
高效的网络模型是Redis实现高吞吐量的重要底层支撑，是“高性能”的重要原因，却不是“快”的直接理由。本文将从BIO开始介绍，经过NIO、多路复用，最终说回Redis的Reactor模型，力求详尽。 ......
Redis数据结构与对象
参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，就会使用SDS（simple dynamic string）来表示字符串值。比如set msg "hello world"将创建一个新键值对，键值对的键 ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
万字长文解析Scaled YOLOv4模型(YOLO变体模型)
Scaled YOLOv4 模型最主要的贡献在于通过理论系统分析和实验证了模型缩放的原则，进一步拓展了 CSPNet 方法，并基于此设计了一个全新的 Scaled-YOLOv4，Scaled-YOLOv4 网络的卷积模块都有使用 CSP。总的感觉就是针对不同的 GPU 平台，根据作者分析出来的模型缩... ......
Django模型层
模型层与ORM 一、初步认识ORM 1.什么是ORM 对象关系映射 能够让不会SQL语句的python程序员 使用python面向对象的语法来操作数据库 优势>>>:简单方便快捷 劣势>>>:效率可能会低 2.概念对接 类 表 对象 一条条数据 对象点名字 数据获取字段对应值 3.基本操作(增删改查 ......
模型驱动设计的构造块（下）——DDD
3. 领域对象的生命周期 每个对象都有生命周期，如下图所示。对象自创建后，可能会经历各种不同的状态，直至最终消亡——要么存档，要么删除。当然很多对象是简单的临时对象，仅通过调用构造函数来创建，用来做一些计算，然后由垃圾收集器回收。这类对象没必要搞得那么复杂。但有些对象具有更长的生命周期，其中一部分时 ......
万字长文详解 YOLOv1-v5 系列模型
yolov1 作者提出了一种新的目标检测方法 YOLO，之前的目标检测工作都是重新利用分类器来执行检测。作者的神经网络模型是端到端的检测，一次运行即可同时得到所有目标的边界框和类别概率。YOLO 架构的速度是非常快的，base 版本实时帧率为 45 帧，smaller 版本能达到每秒 155 帧，性... ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
TiDB上百T数据拆分实践
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......
数据看板可视化
前言 这段时间一直在做可视化，在我的项目中有一部分是电力巡检的数据可视化。其中的数据看板比较简单，我将其单独抽离出来形成一个demo，为保密demo中数据非真实数据。先看效果。 具体效果 链接相关 浏览链接：http://xisite.top/original/data-board/index.ht ......
数据结构高阶--八大排序汇总
排序总览 什么是排序？ 🔥**排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 ✍️排序的稳定性：**假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j ......
echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新
ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
OpenVINO计算机视觉模型加速
OpenVINO计算机视觉模型加速 OpenVINO介绍 计算机视觉部署框架，支持多种边缘硬件平台 Intel开发并开源使用的计算机视觉库 支持多个场景视觉任务场景的快速演示 四个主要模块： 1、开发环境搭建 安装cmake、Miniconda3、Notepad++、PyCharm、VisualSt ......
使用.NET开发搭建OpenAI模型的中间服务端
前言：前不久微信上大家玩ChatGPT聊天机器人玩的不亦乐乎；不过随着ChatGPT被封杀，所以用微信聊天机器人有可能导致封号的风险。那如果自己不想每次都去OpenAI官网上进行对话【PS:官网上面聊天对话有局限性，例如回复的内容比较长，AI回答是一个一个字写的，就可能导致超过一定时间以后，变成请求 ......