蓝皮书 数据表 设备制造 电力
基于达梦云原生大数据平台的物流信息数据中台系统项目的阶段总结
项目目的：在达梦云原生大数据平台上搭建所需环境，实现系统功能。 数据采集模块负责制定采集规则并采集数据。数据源为mysql数据库。数据文件格式分别为txt、xls等。 对于我们团队展示的作业建民老师给出了以下几点要求 1.要开发android端，这样才能更加方便用户的使用 2.要试着去实现集装箱的最 ......
sklearn数据集的使用
# 1.数据集 **学习是可能用到的数据集** >训练集分为训练集和测试集 Kaggle https://www.kaggle.com/datasets 大数据竞赛平台 80 万科学家 真实数据 数据量巨大 UCI http://archive.ics.uci.edu/ml/ 收录了 559 个数据 ......
数据分析实例
1、导入用于分析和可视化作图的库 import pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns #seaborn也很强大，可以小试一下 da=pd.read_csv('D:/datasource/mycrawldata ......
python 数据可视化———电子商务销售分析
一、选题背景 随着互联网和移动互联网技术的不断发展，电子商务已经成为了一个全球性的发展趋势。越来越多的商家和消费者都开始使用电子商务平台进行线上交易，这在一定程度上改变了传统商业模式，并且对于消费者而言，电子商务平台也提供了更为便捷的购物体验。因此，对于电子商务销售的分析就显得尤为重要。通过对电子商 ......
大数据学习笔记hadoop、hive、java
HDFS伪分布式集群搭建 tar -zxvf hadoop-2.7.7.tar.gzecho $JAVA_HOME/root/software/jdk1.8.0_221#查看loaclhostvim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env ......
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
大数据分析python
# 导库import numpy as npimport pandas as pd # 读取数据data =pd.read_csv('logistics.csv')data.head(10) 思路：直接查看不同公司的数量即可 df1=data.groupby('货运公司名称').size().res ......
数据同步智能化！利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓
钉钉数据同步需求 钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。 很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通过报表工具进行统计分析，实现这种自动化流程通常的做法是写一段 python ......
Kali 用 Wireshark 抓取网络数据包
这个Wireshark是可视化操作工具，可以直接打开。 如下图所示，如果是中文版的，可以直接操作： 如果是英文版的，就点击 Capture 后，选择 Options 打开如下窗口： 以上，我们可以选择 eth0 或 Kiioback:io 进行抓包，这里每个人的接口可能不一样，选择好后点击开始（st ......
备份mysql全量数据库为sql文件
进入数据库bin目录，cmd运行mysqldump -utest -ptest --all-databases > all.sql 备注 -u后面接用户名 -p后面接密码 “>”是方向,这里指从左到右 备份结果：cmd命令行无提示错误即可， 备份结束的SQL文件才会显示文件大小，之前不显示文件大小。 ......
【如何三行代码下载指定的股票或者基金数据到pandas中】用pandas做爬虫
import pandas url="http://vip.stock.finance.sina.com.cn/quotes_service/view/cn_bill_sum.php?num=100&page=1&sort=totalvolpct&asc=0&volume=1000000&type= ......
字符设备驱动-8.休眠唤醒机制
# 1 休眠与唤醒  1.APP 调用 read 等函数试图读取数据，比如读取按键； 2.APP 进入内核 ......
数据结构整理
数据结构模板整理，请自取。 ### 线段树 [$\operatorname{Sgt}$](https://www.luogu.com.cn/paste/870hl6p4) [$\operatorname{BIT}$](画大饼) ### 平衡树 [$\operatorname{Treap}$](htt ......
mybatis拦截器实现数据权限
前端的菜单和按钮权限都可以通过配置来实现，但很多时候，后台查询数据库数据的权限需要通过手动添加SQL来实现。 比如员工打卡记录表，有id,name,dpt_id,company_id等字段，后两个表示部门ID和分公司ID。 查看员工打卡记录SQL为：`select id,name,dpt_id,co ......
重载全局operator_new制造bug
[toc] * main.cpp编译后链接libA.so，如果libA.so的开发者重载了全局::operator new(size_t) 展开查看 // A.cpp的重载了全局::operator new(size_t)代码如下 // 使用 g++ -shared -fPIC -o libA.so ......
EasyRTMPLive拉转推硬件设备访问端口返回404报错，该如何解决？
我们在近期也发布了关于云边端AI智能分析网关的相关功能介绍及应用场景，感兴趣的用户可以翻阅我们的历史文章进行了解。该设备内置多算法框架，支持对接入的多路视频流进行AI智能识别，支持对监控场景中的异常及违规现象进行精准研判，可提供的智能识别功能包括：人脸检测、人体检测、区域入侵检测、安全帽检测等。 ......
BBA EDI项目数据库方案开源介绍
近期为了帮助广大用户更好地使用 EDI 系统，我们根据以往的项目实施经验，将成熟的 EDI 项目进行开源。用户安装好知行之桥EDI系统之后，只需要下载我们整理好的示例代码，并放置在知行之桥指定的工作区中，即可开始使用。 今天的文章主要为大家介绍 BBA EDI 项目，了解如何获取开源的项目代码以及如 ......
Python 基础数据类型
## 基础数据类型 ### 一、数字 ``` 2 是一个整数的例子。 长整数 不过是大一些的整数。 3.23和52.3E-4是浮点数的例子。E标记表示10的幂。在这里，52.3E-4表示52.3 * 10-4。 (-5+4j)和(2.3-4.6j)是复数的例子，其中-5,4为实数，j为虚数，数学中表 ......
Django连接mysql数据库
1、在settings.py文件中配置数据库 ，需要提前创建好库，并注册app【python manage.py startapp login 提前创建一个名为"login "的app应用】 2、在login文件夹的models.py中创建一个User表 3. 安装pymysql pip insta ......
python010 控制多台同类型设备
``` def auto_find(): rm = pyvisa.ResourceManager() devices = rm.list_resources() print(devices) ins_dict = {'p1': None, 'p2': None, 'm1': None, 'm2': ......
pandas 数据分组 -- groupby
groupby: import random import numpy as np random.seed() df = pd.DataFrame({'data':['a', 'a', 'b', 'b', 'a'], 'num':['one', 'two', 'one', 'two', 'one'] ......
JSR303数据校验：@Validated和@Vaild
在 SpringBoot项目开发中，有一个观点是不要相信前端传入的参数，因为你不知道用户是怎么操作我们接口的，所以在后端也需要对参数进行校验; 一、引入相关依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId> ......
Mysql必知必会教程--数据过滤
关键字：where 这里只说明不匹配的用法，其他的较为简单，不予叙述。 select vend_id,prod_name from products where vend_id <> 1003; 输出结果： + + + | vend_id | prod_name | + + + | 1001 | . ......
SQLLDR简介 和 Oracle插入大量数据
# SQLLDR简介 ## 一、简介 SQL*LOADER是ORACLE的数据加载工具，通常用来将操作系统文件（数据）迁移到ORACLE数据库中。SQL*LOADER是大型数据仓库选择使用的加载方法，因为它提供了最快速的途径（DIRECT，PARALLEL）。 ## 二、参数 ### 2.1 语法 ......
数据的图像化之旅：探索GIS与可视化的无限可能
作为一种集成空间数据管理、分析和可视化展示的强大工具，GIS为我们带来了全新的视角和洞察力，它以其直观、生动的展示方式，将数据变得更加易于理解和共享。 ......
不同网络环境中的设备组网问题解决(使用zerotier)
### 因为本人有在非公网环境中把多台设备互联的需求, 一番寻找下来发现了`zerotier`这个软件来实现组网, 但是`zerotier`组网会有中国大陆访问`planet`服务器过于困难的问题, 最后找到了这篇文章：`https://github.com/LoganJinDev/zerotier ......
升压变电站的分类及AcrelCloud-1000电力运维云平台的应用
安科瑞虞佳豪 在发电厂内的变电站是升压变电站，其作用是将发电机发出的电能升压后馈送到高压电网中。 分类： 1、一类变电站。是指交流特高压站，核电、大型能源基地（300万kw及以上）外送及跨大区（华北、华中、华东、东北、西北）联络750/500/330kV变电站。 2、二类变电站。是指除一类变电站以 ......
MySql必知必会教程--排序检索数据
重点关键字：order by 排序单列数据： select prod_name from products order by prod_name; 输出结果： + + | prod_name | + + | .5 ton anvil | | 1 ton anvil | | 2 ton anvil | ......