数据库 数据mysql平台
【专题】2022年智慧城市白皮书报告PDF合集分享（附原数据表）
报告链接：http://tecdat.cn/?p=32732 本白皮书对智慧城市的发展历程进行了归纳和总结，分析了发展实践中的新变化和新内涵，并提出了一系列新的智慧城市建设理念、架构和建议。 阅读原文，获取专题报告合集全文，解锁文末29份智慧城市相关行业研究报告。 其目的在于为建设新型智慧城市提供参 ......
【专题】2022年中国制造业数字化转型研究报告PDF合集分享（附原数据表）
报告链接：http://tecdat.cn/?p=32145 本文中所说的制造业数字化转型，指的是在制造企业的设计、生产、管理、销售及服务的每一个环节中，将新一代信息技术应用到制造企业的设计、生产、管理、销售及服务的每一个环节中，并可以以每一个环节中产生的数据为基础，展开控制、监测、检测、预测等生产 ......
R语言改进的K-Means(K-均值)聚类算法分析股票盈利能力和可视化|附代码数据
全文链接：http://tecdat.cn/?p=32418 原文出处：拓端数据部落公众号 大量数据中具有"相似"特征的数据点或样本划分为一个类别。聚类分析提供了样本集在非监督模式下的类别划分。 人们在投资时总期望以最小的风险获取最大的利益，面对庞大的股票市场和繁杂的股票数据，要想对股票进行合理的分 ......
大数据mapReduce的学习
.2MapReduce模型简介•MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce •编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算 •MapReduce采用“分而治之”策略，一个存储在分布 ......
亚马逊Dynamo数据库解读（英文版）
最近看了亚麻的Dynamo，个人认为其中always writeable的业务目标，对于DHT，vector clock，merkel tree的应用，包括对于一致性和高可用的权衡等都很有意思。建议参考原论文食用。 What is the problem that this paper tries ......
MySQL字段的字符类型该如何选择?千万数据下varchar和char性能竟然相差30%?
MySQL字段的字符类型该如何选择?千万数据下varchar和char性能竟然相差30%? 前言 上篇文章MySQL字段的时间类型该如何选择？千万数据下性能提升10%~30%🚀我们讨论过时间类型的选择 本篇文章来讨论MySQL中字符类型的选择并来深入实践char与varchar类型的最佳使用场景 ......
2023数据采集与融合技术实践作业三
作业① 实验内容 要求 指定一个网站，爬取这个网站中的所有的所有图片，例如：中国气象网（http://www.weather.com.cn）。使用scrapy框架分别实现单线程和多线程的方式爬取。 –务必控制总页数（学号尾数2位）、总下载的图片数量（尾数后3位）等限制爬取的措施。 输出信息 将下载的 ......
微软发布开源平台 Radius：高效构建、运行基于Dapr 云原生应用程序
Microsoft Azure 孵化团队很高兴地宣布[1]推出一个名为 Radius 的新开放应用程序平台，该平台将应用程序置于每个开发阶段的中心，重新定义应用程序的构建、管理和理解方式。Radius是一个开源项目，支持跨私有云，Microsoft Azure和Amazon Web Services ......
仅手机大小！极空间T2随身数据魔盒发布：既是NAS 又是U盘
今天极空间召开新品发布会，带来了极空间T2随身数据魔盒，售价1999元起。 极空间T2随身数据魔盒体积仅手机大小，充电宝可供电。既是个NAS，又是个U盘。 其具备双M.2插槽，可安装两块固态硬盘。4G内存支持docker，内置Wi-Fi 6，2.5G网口卡， 它还支持HDMI投屏，遥控器操作PPT、 ......
自动化测试如何准备测试数据
其实大部分类型的测试都需要去准备测试数据。 手工测试：一些基础数据，比如配置数据等等是需要去准备的； 自动化测试：基础需要准备，现有数据，动态运行时产生的数据是需要准备的； 性能测试：跟自动化测试差不多； 这里就牵扯到了一些关于数据的概念了。 测试数据的分类 我们可以给测试数据分一些种类 基础数据， ......
数据采集与融合技术实践作业3
作业①: 要求： 指定一个网站，爬取这个网站中的所有的所有图片，例如：中国气象网（http://www.weather.com.cn）。使用scrapy框架分别实现单线程和多线程的方式爬取。 –务必控制总页数（学号尾数2位）、总下载的图片数量（尾数后3位）等限制爬取的措施。 输出信息: 将下载的Ur ......
mysql复习
创建索引的原则?1、选择唯―性索引:唯―性索引的值是唯一的。可以更快的通过该索引来确定某条记录。2、为经常需要排序、分组;以及联合查询的列创建索引。3、为经常作为查询条件的列创建索引,4、限制索引的数目:越多的索引越导致表的查询效率变低，因为索引表在每次更新表数据的时候都会重新创建这个表的索引，表的 ......
数据采集与融合实践第三次实践作业
数据采集与融合实践第三次实践作业：在中国气象网爬取网站的所有图片、scrapy爬取东方财富网的数据并存储到数据库中、爬取中国银行网的外汇数据并存储到数据库中 ......
我的数据备份笔记
今天虽然还没考完试，但是想写点与其无关的内容。最近一直在思考数据备份方案，诚然“3-2-1”结构是比较稳妥的（目前也正向着这个方向靠拢），不过也要考虑到自己的经济情况，所以要构建一个最符合当前情况的备份方案，本文可能涉及不少细节，写出来给各位有相同需求的坛友作为参考，如有建议也欢迎留言。 首先分析一 ......
免费的国产数据集成平台推荐
在如今的数字化时代下，企业内部的数据无疑是重要资产之一。随着数据源的多样性和数量剧增，如何有效地收集、整合、存储、管理和分析数据变得至关重要。为了解决这些常见痛点，数据集成平台成为了现代企业不可或缺的一部分。 数据集成是现代数据处理中非常重要的一环，它就像是让不同数据源的数据到一个“公共”的地方见面 ......
《动手学深度学习 Pytorch版》 9.5 机器翻译与数据集
机器翻译（machine translation）指的是将序列从一种语言自动翻译成另一种语言，基于神经网络的方法通常被称为神经机器翻译（neural machine translation）。 import os import torch from d2l import torch as d2l 9 ......
mysql函数CASE WHEN简单使用
实际案例 CASE when cc.c LIKE '%迟到%' THEN '扣一分' ELSE NULL END 如果有个需要判断 CASE when cc.c LIKE '%迟到%' THEN '扣一分' when cc.c LIKE '%早退%' THEN '扣两分' ELSE NULL END ......
【大数据】Spark On Yarn 理解（图文）
基本架构 1：ResourceManager（资源管理器）：ResourceManager是YARN的核心组件，负责管理和分配集群资源。它接收来自Spark应用程序的资源请求，并根据可用资源情况进行分配和调度。 2：NodeManager（节点管理器）：NodeManager是每个节点上的代理程序， ......
数据安全？部署成本？看CSaaS架构如何巧妙破解数字孪生两难局面
随着数字化转型进程的逐步推进，数字孪生这一技术也开始让各行各业开始重视。诚然，数字孪生在提高安全性、降低成本、改进决策过程和优化产品设计等方面拥有巨大潜力，但其在部署方面面临的两难处境仍然是目前的一大痛点。下面就让我们来看一看数字孪生在部署上遇到的两难局面，以及CSaaS架构是如何突破这一局面 1. ......
京东小程序平台助力快送实现跨端
小程序作为一种轻量级、便捷、个性化的应用形态，可塑性非常强，其强大功能、低研发成本能够有效助力快送实现跨端。达达快送接入京东小程序项目取得了多方面显著的成果，这也为其他企业在接入小程序时提供了有益的借鉴和参考。 ......
半导体即国家，日本做了啥？最大的 AI 模型并不十分透明；特斯拉安全数据报告缺失近一年丨 RTE 开发者日报 Vol.70
开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
JSON 返回数据命名不规范问题
问题描述 后端代码如下： @Data public class UserDto { private String mUserName; private String mPassword; } @RestController @Slf4j public class UserController { @ ......
大数据技术之DataX
一、DataX简介 DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 二、DataX架构原理 为了解决异构数据源同步问题，DataX将复杂的网 ......
AI智慧安防智能监控平台如何做到健身房智能视频监控？
随着大家对健身的重视，健身房也开始遍地开花，健身房的兴起是必然的，但是健身房的管理不容疏忽，通过EasyCVR智能视频监控系统，则可以解决监管不足的问题。 1、安全摄像头布局 根据健身房的大小和布局，合理规划安装摄像头的位置。确保所有重要区域都能被完全覆盖，包括入口、出口、器械区、更衣室等。 2、智 ......
celery包结构、celery延迟任务和定时任务、django中使用celery、接口缓存、双写一致性、异步秒杀逻辑、课程列表页前端、课程相关表、课程表数据录入、课程列表页接口
celery包结构 project ├── celery_task # celery包 这个包可以放在任意位置 │ ├── __init__.py # 包文件 │ ├── celery.py # celery连接和配置相关文件，且名字必须叫celery.py │ └── tasks.py # 所有任 ......
MSSQL生成数据库字典脚本
SELECT 表名=case when a.colorder=1 then d.name else '' end, --表名=d.name, --表说明=case when a.colorder=1 then isnull(f.value,'') else '' end, --字段序号=a.colo ......
db-cdc之mysql 深入了解并使用binlog
1.什么是binlog？ 2.binlog可以用来干什么？ 3.怎么样使用binlog? binlog是记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、 UPDATE、DELETE…）的二进制日志。实际落库产生的日志（事务提交后）。 我们先看一下M ......
小景的Dba之路--如何导出0记录表以及数据泵的使用
小景最近在系统压测相关的工作，其中涉及了数据备份导出的操作。今天的问题是：exp命令不会导出0记录表，那么我们探讨下如何导出0记录表以及数据泵的使用。 首先，我们先刨析一下问题现象及原因： 在 Oracle 中，使用传统的 `exp` 命令进行导出通常不会导出0记录的表，即那些不包含任何数据的表。这 ......