数据 物流技术 数据源 团队
构建高效数据流转的 ETL 系统：数据库 + Serverless 函数计算的最佳实践
作者｜柳下 概述 随着企业规模和数据量的增长，数据的价值越来越受到重视。数据的变化和更新变得更加频繁和复杂，因此及时捕获和处理这些变化变得至关重要。为了满足这一需求，数据库 CDC（Change Data Capture）技术应运而生。然而，从 ETL 架构的角度来看，CDC 仅满足了数据的提取（E ......
Python 数据类型
Task 2 数据类型 常用内置类型 基本的数据类型 整数 Integer（int） 浮点数 Float 布尔值 Boolean （bool） 类型Type 坦白来说，type是一种面向类的对象，python是一种面向的对象友好的语言 print(type(2)) #int型print(type(2 ......
产品经理如何做数据分析？
当产品经理进行数据分析时，需要掌握一系列方法和工具，以便深入了解用户行为、产品表现和市场趋势。下面是一个详细的描述，将涵盖数据收集、数据处理、数据分析工具和技术，以及数据分析在产品决策中的应用。数据可视化工具（如Tableau、Power BI等）的优势。产品使用数据（如用户操作日志、事件追踪等）市... ......
如何做好架构设计，架构设计有章可循吗？ | 京东云技术团队
设计一个系统的过程，就是建造一座大厦的过程，架构设计的质量直接决定了大厦的质量。 在我们进行系统的架构设计时，总是会遇到一系列的问题，比如一个大型系统的架构应该如何起步，从哪里开始设计？系统是否应该划分成多个模块，应该怎么划分模块才更加的合理？亦或是觉得产品提出的需求非常不合理，完全影响我们正常的架 ......
微信小程序--页面间传递数据的方式
一、设置为全局变量，在另一个页面再获取这个变量 二、通过wx.navigateTo()的url传值 三、通过wx.navigateTo()的success建立一条数据通道 传递数据的页面 data: { data1:"第一个页面的值" }, //在wxml页面设置一个按钮，并绑定事件ddd ddd: ......
【转载】技术博客只能写技术文章吗？当然是由我们自己来定义。
最近正在阅读John Sonmez的《软技能：代码之外的生存指南》，根据书中的建议和老师的推荐，决定开通博客，记录自己的学习历程。在此我会分享我自身学习CS的一些所思所想，和一些代码。应该会坚持一段时间的吧...转载的这篇文章来自CSDN，下面贴上连接，主要是为我今后的博客定下基调：技术，但不止技术 ......
生产实践：Redis与Mysql的数据强一致性方案
公众号「架构成长指南」，专注于生产实践、云原生、分布式系统、大数据技术分享。 数据库和Redis如何保存强一致性，这篇文章告诉你 目的 Redis和Msql来保持数据同步，并且强一致，以此来提高对应接口的响应速度，刚开始考虑是用mybatis的二级缓存，发现坑不少，于是决定自己搞 要关注的问题点 操 ......
datawhake03:数据类型和运算
笔记03：数据类型和操作 python的常见数据类型 标准数据类型 不可变数据 Number（数字） String（字符串） Tuple（元组） 可变数据 List（列表） Set（集合） Dictionary（字典） 其他 Type（类型） Number int（整数） 离散的数据类型 float ......
一文了解导入测试数据自动化生成测试用例的方法
概述 在模型开发过程中，测试是一个不可或缺的环节。在测试过程中，测试用例的编写是所有测试工程师关注的重点和难点。在编写的过程中，可能会遇到各种各样的问题，比如历史测试用例的复用，比如在MiL阶段回放HiL阶段的测试数据来debug，又如需要通过Excel实现测试用例的存储等等。上述问题TPT提供了非 ......
时区的坑：数据时间在不同数据库中差8小时、13小时、14小时是怎么回事
为什么会同一条数据，会有小时差异 恭喜你，十有八九，就是时区的问题： 首先要明确的是，我们中国的标准时区是东八区，就是世界协调时间(UTC)加上八个小时，也就是UTC+8。 格林尼治标准时间 最坑的是美国时间，因为美国实行的是夏令时，也就是说美国是有两个时区在一天内来回切换，有几个月是西六区，有几个 ......
mysql数据库物理及逻辑备份
一、理论知识 1.1：物理备份 备份数据库操作系统的物理文件（数据文件、日志文件等）： 冷备份（脱机备份）：关闭数据库进行 热备份（联机备份）：数据库正运行，依赖数据库的日志文件 温备份：数据库锁定表格（可读不可写）后进行 常见方法： 物理冷备：拷贝数据库文件打包备份，需进行锁表-备份-解表。恢复时 ......
WPF数据绑定
依赖对象做为数据源 如果绑定的源是依赖对象的依赖属性，那么这个依赖属性发生实时变化的时候，会同步到绑定目标。 如果绑定的源是非依赖属性，那么这个属性发生变化的的时候，不会同步到绑定目标。 被绑定的数据源，需要是属性。 <StackPanel> <!--目标对象：TextBlock--> <!--目标 ......
mysql select 多条数据uuid()重复问题解决
CONCAT(SUBSTRING(MD5(UUID()),1,8),'-',SUBSTRING(MD5(UUID()),8,4),'-',SUBSTRING(MD5(UUID()),12,4),'-',SUBSTRING(MD5(UUID()),16,4),'-',SUBSTRING(MD5(UUI ......
数据库连接不关闭 导致数据库 内存不断上升 内存溢出 OOM
现象： 数据库关闭 原因： 执行业务逻辑的一个函数，每次调用时，都新建连接，但函数返回时没有关闭连接；该函数被不断调用：数据库内存不断增长，OOM，被监控程序杀死。 实测：在函数返回前关闭连接，可以避免数据库OOM。 翻译 搜索 复制 ......
第五单元 表数据操作
1. SSMS 方式 在数据库中选择“编辑前200行”选项，然后就可以手动直接输入数据到表行中了。 手动输入的数据是确定的，而且只能一点点输入，遇到大量的数据的时候，操作会变得很繁重，而且它不满足大多数业务的需求，而且不利于更新。 在对象资源管理器中，右键点击你要打开的表，然后选择 “Edit To ......
Oracle 隐式数据类型转换的坑
在执行sql时 遇到了一个转换类型的错误 ORA-01722: invalid number ... LEFT JOIN A ON B.BUSINESSID = A.ID ... 原因是在进行隐式数据类型转换时，BUSINESSID 字段是 VARCHAR2类型，其中有些业务数据包含了非数字字符，导 ......
电子公文传输系统 团队作业（五）链接合集
本博客用于提交冲刺阶段的所有博客链接 第一天：电子公文传输系统 团队作业（五）：冲刺总结（第一天） - 俊凯今天吃什么 - 博客园 (cnblogs.com) 第二天： 第三天： 第四天： 第五天： 第六天： 第七天： ......
新冠大流行后的世界隐私：密接者行为数据和健康数据
在这个新冠疫情大流行后的世界中，审视公共卫生需要与保护个体隐私之间微妙的平衡至关重要。在探讨接触者追踪和健康数据的复杂性时，我们将深入探讨这一工具的必要性...... ......
【虹科干货】Redis Enterprise 自动分层技术：大数据集高性能解决方案
企业业务一直依赖于其收集的数据，但这些数据集正在不断增长。即使需要提取的数据存储量非常庞大，Redis Enterprise 7.2也能使应用程序能以最快的速度检索和处理数据。利用自动分层技术，可以识别冷数据和热数据，并分别存储在内存和固态硬盘上，显著提升了系统响应速度，优化内存占用的同时降低硬件成... ......
如何按“单元格格式”筛选数据
起因 因为Yu童孩想要筛选单元格是否是“非数值”类得格式 思路 既然是筛选单元格格式，我们需要嘴的就是找到格式相关得操作或者函数 graph LR 格式相关操作 条件格式 格式相关操作 is类函数 格式相关操作 定位条件 定位条件 也就是常说得快捷键(F5) 对应操作为: graph LR 开始选项 ......
PLC通过lora网关采集温室大棚温湿度数据
概述: 运用lora网关远程控制大棚内风机，日光灯，温湿度传感器等设备。可以实现远程获取现场环境的空气温湿度、土壤水分温度、二氧化碳浓度、光照强度可以自动控制温室湿帘风机、喷淋滴灌、加温补光等设备，并向远程计算机端推送实时数据，实现现场环境信息化，智能化远程管理。减少人工成本，降低人工成本，提高工作 ......
电子公文传输系统 团队作业（五）：冲刺总结（第一天）
项目名：电子公文传输系统成员：王浩博 宋非凡 蒋嘉豪 周昱涵 宋雷 李长兴 周凌霄日期：2020年11月9日 团队作业（五）：冲刺总结 各个成员在 Alpha 阶段认领的任务 成员项目任务 宋非凡 前端界面 周昱涵 后端描述 宋雷 后端描述 周凌霄 后端描述 李长兴 数据库设计 蒋嘉豪 前端界面 王 ......
某上市证券公司：管控文件交换行为 保护核心数据资产
客户简介 某上市证券公司成立于2001年，经营范围包括：证券经纪、证券投资咨询、证券承销与保荐、证券自营等。经过多年发展，在北京、上海、深圳、重庆、杭州、厦门等国内主要中心城市及甘肃省内各地市设立了15家分公司和80余家证券营业部。2009年成功保荐首批创业板上市企业发行上市，成为首批保荐企业在创业 ......
深度学习中实现PyTorch和NumPy之间的数据转换知多少？
在深度学习中，PyTorch和NumPy是两个常用的工具，用于处理和转换数据。PyTorch是一个基于Python的科学计算库，用于构建神经网络和深度学习模型。NumPy是一个用于科学计算的Python库，提供了一个强大的多维数组对象和用于处理这些数组的函数。 在深度学习中，通常需要将数据从NumP ......
Web开发技术架构设计
Web开发技术架构设计是一项非常重要的工作，它关系到Web应用的性能、安全、可靠性等方面。以下是Web开发技术架构设计中需要考虑的几个方面： 1、前端技术架构设计 前端技术架构设计是Web开发技术架构设计中重要的一环。前端技术架构设计包括界面设计、交互设计、视觉设计、前端框架和库的选择、代码规范等方 ......
数据结构
数据结构 线段树 在一个二叉树上面进行区间操作，区间查询（可以是最大，最小，和，gcd等等） 每一个树上的点都代表着一个区间的值。 流程： 建树，将区间为[x,x]的区间设为\(a_x\) 对一个区间进行操作，需要遍历到每一个包括这个区间的子节点，显然，时间复杂度会卡到 \(O(n)\)。于是我们想 ......
【专题】2023年认知智能技术与应用研究报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=34344 原文出处：拓端数据部落公众号 随着深度学习技术的不断演进，语音识别、图像识别等技术的准确率得到了显著提高，机器的听、看等感知能力已经达到了甚至超越了人类的水平，逐渐进入了应用成熟期。然而，当机器面对思考、推荐、决策、联想等复杂的认知问题 ......
【专题】2023年全球制药行业研究报告PDF合集分享（附原数据表）
报告链接：https://tecdat.cn/?p=33241 原文出处：拓端数据部落公众号 制药公司的主要业务是研究、开发、生产和销售药物，用于治疗疾病、缓解症状，并越来越多地涉足疾病预防领域。在过去的二十年里，该行业得到了显著增长，这得益于产品创新，包括基于DNA和RNA疗法的突破性治疗，以及更 ......
数据库总结复习（并发控制二）
目录前言死锁解决方法超时等待法等待图法串行化概念验证串行化判断冲突可串行化举例为了保证可串行而出现的封锁协议--两段锁协议概念与一次封锁的区别 前言 本文为JMU22级数据库原理考前复习而总结归纳，刨除了课本以及课堂上晦涩且长篇大论的文章，以尽量简洁易懂的语句来对知识点进行归纳。 继 上一篇文章 关 ......