爬虫 数据分析 数据 小说
drf之Restful规范序列化和反序列，drf介绍和快速使用和APIView源码分析
一、Restful规范 RESTful是一种定义API接口的设计风格，AIP接口的编写规范，，尤其适用于前后端分离的应用模式中 这种风格的理念认为后端开发任务就是提供数据的，对外提供的是数据资源的访问接口，所以在定义接口时，客户端访问的URL路径就表示这种要操作的数据资源 我们可以使用任何一个框架都 ......
数据质量
一、规划 长期：基于Spark RDD，统一封装框架，支持多种监控项的配置，减轻数据核对的成本； 短期：需要梳理核心监控指标，以HQL为主，保证当前的数据质量； 范围：只包括基础事实表、维度表的数据质量验证； 二、校验类型 数据量是否一致（统计）：比如：传统数仓比大数据多了多少条？差异是什么？ 度量 ......
数据库目录
mysql Sys schema 视图 | 标题 | 随笔地址 | 描述 | | | | | | 基础知识 | www.cnblogs.com/hangychn/p/17407932.html | | | 存储引擎和索引 | www.cnblogs.com/hangychn/p/17408529.h ......
数据大盘加载耗时较长的优化案例
背景： 有一个数据大盘的需求，统计组织下的所有人员，优化前数据的加载耗时近30秒 优化思路： 一、定位加载耗时慢的代码片段 PHP里dump+die是我们经常用并且个人觉得是很好用的调试工具，利用这个特性，我们可以定位出哪些代码片段的加载是耗时最多的 二、逐个优化 在优化过程中，可以将大的sql拆分 ......
Greenplum数据库中segment故障检测
1.Greenplum数据库中segment故障检测 1.1概述 Greenplum数据库服务器（Postgres）有一个子进程，该子进程为ftsprobe，主要作用是处理故障检测。 ftsprobe 监视Greenplum数据库阵列，它以可以配置的间隔连接并扫描所有segment和数据库进程。 如 ......
mysql 调优-Sys schema 分析
索引情况 -- 查询冗余索引（比如对于 name 字段创建了一个单列索引，有创建了一个 name 和 code 的联合索引） select * from sys.schema_redundant_indexes; -- 查询未使用过的索引 select * from sys.schema_unuse ......
数据卷 Volume
基本概念 简介 数据卷相当于是容器的虚拟文件系统和主机的真实文件系统之间的一个桥梁，建立数据卷就相当于是打通了容器主机之间的文件交互通道，可以让容器运行时所产生的数据变更被保存到主机中，能够更方便的对数据进行备份以及保护。 ......
爬虫学习之爬取百度贴吧照片
1.通过requests拿到网页的源代码数据导入requests和etree模块 import requestsfrom lxml import etree 2.通过lxml通过对源代码数据进行解析，拿到照片的URL地址 首先进行发送请求，获取URL index_url = 'https://tie ......
小程序安全架构分析
随着数字时代的到来，数据不再是普通的符号和徽标，也不仅仅是普通的计算和统计工具。而安全问题也已经成为了一个非常重要的议题。今天就来探讨下小程序的安全架构，以了解小程序如何做到安全保障。 小程序的安全架构 先说说小程序自身的安全架构，小程序的安全架构由应用程序层、客户端层、服务层和数据存储层多个层次 ......
淘宝关键词搜索 API 接口分析商品价格走势（商品列表，销量，价格接口，分类 ID 精准商品数据接口）接口代码对接
淘宝商品视频接口，淘宝商品详情接口，淘宝关键词搜索，淘宝商品评论接口，淘宝商品优惠价接口，淘宝商品历史价格接口，卖家买家订单列表等 ......
SpringBoot项目预加载数据——ApplicationRunner、CommandLineRunner、InitializingBean 、@PostConstruct区别
0、参考、业务需求 参考： https://www.cnblogs.com/java-chen-hao/p/11835120.html#_label1 https://zhuanlan.zhihu.com/p/541268993 业务需求： 缓存数据字典数据、初始化线程池、提前加载好加密证书 1、方 ......
软件原型设计工具分析
1、Axure RP Axure 是一款专业的快速原型设计工具，是很多产品经理、设计师制作原型的入门软件。它可以帮助使用者定义需求和规格、设计功能和界面从而快速创建应用软件或Web网站的线框图、流程图、原型和规格说明文档。它在Windows和iOS系统上都可以使用。它功能强大，可以做出很多交互效果， ......
条码打印软件如何根据需求筛选打印Excel表中的数据
在条码打印软件中，通过导入Excel表格到数据库的方式可以批量打印标签。但是，如果Excel表格中的数据并不需要每条都打印出来，只是根据实际要求筛选打印部分数据，这种情况需要怎么做呢？今天就以珠宝标签的制作为例给大家介绍一下筛选打印Excel表格中的数据的具体方法。 在条码打印软件中新建好标签文件后 ......
数据挖掘实践（金融风控）：金融风控之贷款违约预测挑战赛（上篇）[xgboots/lightgbm/Catboost等模型]--模型融合：stacking、blending
数据挖掘实践（金融风控）：金融风控之贷款违约预测挑战赛（上篇）[xgboots/lightgbm/Catboost等模型]--模型融合：stacking、blending ......
数据挖掘实践（金融风控）：金融风控之贷款违约预测挑战赛（下篇）[xgboots/lightgbm/Catboost等模型]--模型融合：stacking、blending
数据挖掘实践（金融风控）：金融风控之贷款违约预测挑战赛（下篇）[xgboots/lightgbm/Catboost等模型]--模型融合：stacking、blending ......
删除数据文件
用户在rac环境当中添加数据文件时文件存放位置没有存放到asm磁盘组存放到文件系统上，上去处理时文件已处于offline状态，expdp导出某张表时报ORA-31693，ORA-01110错误导致某张表没有备份出来 查看需要恢复的数据文件 select * from v$recover_file 1 ......
技术驱动，数据赋能，华为云GaussDB给世界一个更优选择
摘要：5月16日，“数智深耕 让美好发生 2023华为云城市峰会广州站”成功举行。 5月16日，“数智深耕 让美好发生 2023华为云城市峰会广州站”成功举行。大会聚集了众多城市管理者、产业领袖、企业家和媒体，共同探讨工业数字化发展新趋势，共谋工业数字化发展之路。华为公司副总裁、华为云中国区总裁张修 ......
MATLAB Elman神经网络数据预测，BP神经网络预测，电力负荷预测模型研究
MATLAB Elman神经网络数据预测，BP神经网络预测，电力负荷预测模型研究负荷预测的核心问题是预测的技术问题，或者说是预测的数学模型。传统的数学模型是用显示的数学表达式加以描述，具有计算量小、速度快的优点，但同时也存在很多的缺陷和局限性，比如不具备自学习、自适应能力、预测系统的鲁棒性没有保障等 ......
Request类源码分析。序列化类的基本使用，反序列化效验和保存,5个接口
1 Request类源码分析 # APIView+Response写个接口 # 总结： 1 新的request有个data属性，以后只要是在请求body体中的数据，无论什么编码格式，无论什么请求方式 2 取文件还是从：request.FILES 3 取其他属性，跟之前完全一样 request.met ......
软硬件--智能穿戴常见BUG及原因分析
软硬件--智能穿戴常见BUG及原因分析 1、手表有常亮功能（类似熄屏表盘），开启常亮暗屏状态下 按侧键，设备时间出现倒退现象：频率切换相关问题； 2、手表有常亮功能（类似熄屏表盘），开启常亮暗屏状态下时间不同步：aod界面卡死导致时间不更新，aod卡死与频率问题相关； 3、手表有常亮功能（类似熄屏表 ......
mysql 底层数据存储结构
内存和磁盘每次交互都是完整的页，数据页里面存放的是行（不仅仅是数据库的数据行，还有行格式等） 页（16k，计算机与内存的最小单位）的上层单位还有区（一个区存放64个页，64*16k = 1024k，刚好 1M），区上面是段（一个或多个区组成），段上面是表空间（一个或多个段组成） 行格式 show t ......
python实现数据库备份与恢复
1. 概述 首先，数据库的备份理论上只是一句命令的事，但是也可以通过循环遍历数据库的表实现备份，但是无疑那样会使代码量提升很多，不过就是用SQL语句，原理倒是非常简单。当然，现在市面上用的最多的还是用命令的，这条命令如果手动操作应该是在命令窗口就可以实现的，用代码的话不过是拼接下字符串，生成命令，然 ......
如何利用电商API接口来获取商品数据
要利用电商API接口来获取商品数据，我们可以按照以下步骤实现： 确定电商平台和API接口 不同的电商平台提供不同的API接口，因此我们需要确定我们要获取商品数据的电商平台，并选择相应的API接口进行调用。目前比较常见的电商平台包括淘宝、京东、拼多多、苏宁易购等。 注册申请API接口权限 要调用电商A ......
淘宝商品详情数据详细信息查询，数据参数包括：商品链接，商品列表主图、价格、标题，sku，库存，销量，店铺昵称，店铺等级，商品详情SKU属性，商品视频，商品优惠券
淘宝商品视频接口，淘宝商品详情接口，淘宝关键词搜索，淘宝商品评论接口，淘宝商品优惠价接口，淘宝商品历史价格接口，卖家买家订单列表等 ......
电表无线红外抄表数据采集mqtt协议对接json字段格式示例要求
{ "cmd": "SnapshotData", #定时上报数据命令 "ts": 1683341539, #时间戳-秒(s) "group": 1, #分组号 "data": { "recTime": 1683341539, #时间戳-秒(s) "Ua": 200.14, "Ub": 265.81, ......
Javascript执行原理 网页引入javascript的三种方式* javascript核心语法 数据类型 Typeof运算符
Javascript执行原理： 用户端发送请求到服务器端 将js解析出来的数据（用户身份表示）绑定在请求路径中 服务器端获取到参数后会响应客户端 客户端通过浏览器解析响应的数据并将数据展现在浏览器上 网页引入javascript的三种方式*： 使用script标签 <script type=“tex ......
docker-compose部署sonarqube开源代码审计和分析平台
mkdir -p /docker/sonar/postgres/postgresql mkdir -p /docker/sonar/postgres/data mkdir -p /docker/sonar/sonarqube chmod 777 -R /docker/sonar/sonarqube ......
通过网站日志做网络爬虫和恶意访问分析
普通爬虫 分别查看有爬虫标志的访问次数和合计的总页面访问次数 cat www.access.log | grep spider -c cat www.access.log | wc 查看爬虫来ip地址来源 cat www.access.log | grep spider | awk '{print ......
Oracle客户端导出服务端数据（数据泵）生成DMP文件并导入
1.首先了解下EXPDP 和 EXP的区别 1)EXP和IMP是客户端工具程序,它们既可以在可以客户端使用,也可以在服务端使用。 2)EXPDP和IMPDP是服务端的工具程序,他们只能在 ORACLEQ 服务端使用,不能在客户端使用 3)IMP只适用于EXP导出文件,不适用于EXPDP导出文件;IM ......