数据 数据分析 消费者 案例
CASS数据带属性转GIS的shp数据教程
一、数据：DWG文件中含有JZD（宗地层），JZP（界址点层），其中JZP中含有界址点号，实现JZD层转成ZD的shp数据；JZP转成JZD点的shp数据，并带出界址点号。 二、实现原理： （1）JZD >ZD:添加读模块，选择dwg格式、dwg文件、JZD图层；再添加写模块，选择保存位置及保存sh ......
.WP、.WL、.WT格式数据转Shp解决方案
下载 资源下载 操作办法：mapgis创建数据库——导入.WP、.WL、.WT格式数据——导出shp数据 (1)安装mapgis10.6高级版（有一个月得试用期）； (2)打开mapgis右侧MapGISLocal右键创建数据库，输入名称等信息； (3)在刚创建数据库右键导入MapGIS 6x数据， ......
pgsql按日, 周, 月, 季度, 年统计数据
转自：https://blog.csdn.net/weixin_45616246/article/details/117598051 代码如下 日: DAY; 周: WEEK; 月: MONTH; 季度: QUARTER; 年: YEAR 1 select 2 date_trunc('DAY', c ......
使用Flink完成流数据统计
Flink程序构建的基本单元是stream和transformation（DataSet实质上也是stream）。stream是一个中间结果数据，transformation对数据的加工和操作，该操作以一个或多个stream为输入，计算输出一个或多个stream为结果，最后可以sink来存储数据。 ......
机器学习 - 决策树：技术全解与案例实战
本文深入探讨了机器学习中的决策树算法，从基础概念到高级研究进展，再到实战案例应用，全面解析了决策树的理论及其在现实世界问题中的实际效能。通过技术细节和案例实践，揭示了决策树在提供可解释预测中的独特价值。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、AI产品研发经验、团队 ......
各个数据库存二进制大文件的性能测试
1前言 有个项目软件前端将二进制大文件存在了indexDB,每次给后端传文件（需要传到底层C++进行调用）都会导致内存占用飙升，想着使用前后端都能共同操作的数据库来解决这个内存占用的问题，并且希望这个更具尽可能的轻量，可以嵌入到程序中是最好的，通过一个安装包进行安装。 2各个数据库的性能比较 2 ......
关于代码质量度量和分析的一些总结
最近团队做CMMI3认证，这期间涉及到了代码质量度量。花了点时间做了总结，分享给大家。 先看一张整体的图，然后逐个指标展开说明。 一、单元测试覆盖率 单元测试覆盖率（Coverage）是一个度量单元测试覆盖了多少代码的指标。它是一种衡量测试质量的方法，用来指示我们的测试用例覆盖了代码的多大部分。 覆 ......
五金厂数据字典
财务数据字典 1.采购计划信息（Purchase Plan Information） 计划ID（Plan ID） 数据类型：整数（Integer） 含义：采购计划的唯一标识符 示例：1001 计划日期（Plan Date） 数据类型：日期（Date） 含义：计划创建的日期 示例：2023-01-15 ......
FTP、U盘等数据安全摆渡方式的6个弊端
数据安全摆渡，即数据在不同的网络之间，进行安全流转。做网间隔离的初衷，就是为了保护数据安全，但是在数据摆渡时，除了安全，企业还是需要考虑其他的要素，比如可靠性、易用性、兼容性等等。而传统的文件摆渡，如U盘、FTP等，已无法满足企业对于数据摆渡的要求了，具体体现在以下6个方面： 1、安全性低。FTP、 ......
权威数据库市场排名出炉，腾讯爆出王炸！
1第一！前天也就是12月6号。全球领先的IT研究和咨询公司IDC发布的《IDC MarketScape：中国分布式关系型数据库 2023年厂商评估》报告（以下称“报告”）显示：腾讯云位居中国分布式关系型数据库“领导者”类别，并在市场份额上取得国内领先成绩。 IDC 大家都知道吧，主要在ICT和科技行 ......
数据库性能优化八大方案
毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。从解决问题的角度出发，我们得先了解到问题的原因 ......
Excel数据统计分析
 海量的Key-V ......
python原生数据类型（上）
python原生数据类型有int、float、str、tuple、list、set、dict七类，本次随笔介绍了几种类型的定义，同时用实验验证各数据类型之间的嵌套，以实验结果证明各个数据类型的基本特征。 ......
kafka入门(四)：消费者
消费者 (Consumer ) 消费者 订阅 Kafka 中的主题 (Topic) ，并 拉取消息。 消费者群组（ Consumer Group） 每一个消费者都有一个对应的 消费者群组。 一个群组里的消费者订阅的是同一个主题，每个消费者接收主题的一部分分区的消息。 每一个分区 (Partition ......
Python Numpy 数据分析常用数学运算
Python 的 NumPy 库是数据分析和科学计算的核心库之一，提供了广泛的数学运算功能，使得处理大型多维数组和矩阵运算变得简单高效。NumPy 是进行数据分析和科学计算的基石，掌握其数学运算功能对于进行有效的数据处理和分析至关重要。本文主要介绍Python Numpy 中数据分析常用数学运算，以 ......
mysql数据库文件丢失恢复---惜分飞
联系：手机/微信(+86 17813235971) QQ(107644445) 标题：mysql数据库文件丢失恢复 作者：惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.] 客户服务器重启,mysql相关数据文件丢失 通过底层工具进行分析,无法正确恢复数据库名字, ......
团队作业6——复审与事后分析
一.团队信息 1.队名：啊对对队 2.队员： 队员名字 学号 黄梦莎（组长） 3221005240 洪裕莹 3221005111 郑雅文 3221007081 阿比旦 3221005195 郑佳媚 3221005071 张萱文 3221005070 萨伊拜 3221005241 二.两篇博客 6.A ......
python使用pymysql连接mysql数据库
# 连接数据库 con = pymysql.connect(host="localhost", port=3306, user="xxx", password="xxxxxx", database="xxx", charset="utf8") cur = con.cursor() cur.execu ......
Java并发(十七)----变量的线程安全分析
1、成员变量和静态变量是否线程安全 如果它们没有共享，则线程安全 如果它们被共享了，根据它们的状态是否能够改变，又分两种情况 如果只有读操作，则线程安全 如果有读写操作，则这段代码是临界区，需要考虑线程安全 2、局部变量是否线程安全 局部变量是线程安全的 但局部变量引用的对象则未必 如果该对象没有逃 ......
mybatis执行时原理的简单分析
前置知识：mybatis中配置文件的解析 自定义实现类的方式 动态代理生成代理类的方式 mybatis中配置文件的解析 解析xml文件的技术有很多，我们不需要全部去掌握，但是我们要知道我们的xml文件通过解析可以得到什么 可以发现通过我们解析得到的这2个信息就可以实现我们jdbc的操作了。我们可以通 ......
【数据库】sql server 中的sql语句--增删改查
create database 学生 go use 学生 go CREATE TABLE Student ( Sno char (7) PRIMARY KEY , Sname char (10) NOT NULL , Ssex char (2) check(ssex in('男','女')) , S ......
17-数据库平滑扩容
1. 扩容问题 B+树，一般就三层，上边两层是索引，最后一层是数据记录。 扇区：4k，一页：16k 假设一条数据记录： 1k => 一页可以放16条记录 上面两层，每一个 item 的结构是：[索引 6B, 主键 8B] 16k*1024 = 16384(B) 16384 / (6+8) = 117 ......
Excel数据统计与分析
1. 学习附件中"利用Excel统计分析学生成绩"的内容 2. 我们的成绩计分规则见附件 image1.png 3. 按照上面规则在Excel中计算全班成绩，要求： 得出最高分，最低分，平均分，均方差 用柱状图从最高到最低显示全班成绩 用饼图显示不及格（<60）,及格（大于等于60，小于70），中等 ......
团队作业6——复审与事后分析
团队作业6——复审与事后分析 这个作业属于哪个课程 软件工程 这个作业要求在哪里 团队作业6——复审与事后分析 这个作业的目标 复审与事后分析 队名 IKUN坤 1、复审 复审 2、事后分析 事后分析 ......
关于代码质量度量和分析的一些总结
最近团队做CMMI3认证，这期间涉及到了代码质量度量。花了点时间做了总结，分享给大家。 先看一张整体的图，然后逐个指标展开说明。 一、单元测试覆盖率 单元测试覆盖率（Coverage）是一个度量单元测试覆盖了多少代码的指标。它是一种衡量测试质量的方法，用来指示我们的测试用例覆盖了代码的多大部分。 覆 ......
线上业务优化之案例实战
本文是我从业多年开发生涯中针对线上业务的处理经验总结而来，这些业务或多或少相信大家都遇到过，因此在这里分享给大家，大家也可以看看是不是遇到过类似场景。本文大纲如下， 后台上传文件 线上后台项目有一个消息推送的功能，运营新建一条通知消息时，需要一起上传一列包含用户 id 的文件，来给文件中包含的指定用 ......
flink事件时间的水印延迟不会导致延迟数据在上一个窗口内
设窗口为5，延迟为3。 假如数据为：0 1 2 5 6 7 3 4 8 则两个窗口为 ： window = TimeWindow{start=0, end=5} 0 1 2 3 4 window = TimeWindow{start=5, end=10} 5 6 7 8 即：5 6 7 的数据不会包 ......
User 什么是结构化、半结构化和非结构化数据
结构化、半结构化和非结构化数据是根据数据的组织和表示形式来分类的，这种分类主要用于描述数据的组织结构和处理方式。 结构化数据（Structured Data）： 定义： 结构化数据是一种具有明确定义和固定格式的数据，通常存储在关系型数据库中，表现为行和列的结构。 特征： 数据的组织和关系在预定义的模 ......
关于开源项目QGIS源码的分析
QGIS地址： https://github.com/qgis/QGIS#1-flexible-and-powerful-spatial-data-management QGIS是一个开源的地理信息系统(GIS)软件项目。 采用的技术栈 QGIS的主要技术栈涵盖了多个领域,包括图形用户界面，地理信息 ......