实战 功能 工具 数据
Scrapy爬网站数据，存到MySQL
一、框架简介 1.1、简介 Scrapy框架是用纯Python实现的一个为了爬取网站数据、提取结构性数据而编写的可扩展的开源应用框架，只需要少量代码就能够快速地实现数据爬取。往往手写一个爬虫需要进行发送网络请求、数据解析、数据存储、反反扒机制、异步请求等步骤，如果都从零开始写是比较浪费时间的，同时会 ......
Scrapy框架与数据库整合：如何实现动态数据存储？
随着互联网数据量的不断增加，如何快速、准确地爬取、处理、存储数据成为了互联网应用开发的关键问题。而Scrapy框架作为一个高效的爬虫框架，凭借其灵活、高速的爬取方式被广泛应用于各种数据爬取场景。 然而，仅仅将爬取到的数据保存到文件中，无法满足大部分应用程序的需要。因为在当前的应用程序中，大多数数据都 ......
对树形结构过滤处理（过滤掉选中文件夹以及子级数据）
点击查看代码 /** * 移动文件夹 （不能移动当前文件夹以及子文件夹） * @param tree 树形结构 * @param condition 过滤单条数据 * @returns */ export function excludeNodeAndChildren(tree: any, cond ......
laravel 数据迁移
迁移命令 运行迁移: php artisan migrate 回滚最近一次数据迁移 :php artisan migrate:rollback 创建表: php artisan make:migration create_表名_table 新增字段: php artisan make:migrati ......
MySQL数据库-2
MySQL数据库-2 第09章子查询 #第09章子查询 SELECT last_name,salary FROM employees WHERE salary>( SELECT salary FROM employees WHERE last_name = 'Abel' ); #2.单行子查询 SE ......
10个必备的 async/await 工具函数
| 当谈到异步编程时，async/await是JavaScript中常用的功能之一。下面是10个常用的await和async函数示例，以及对它们的代码用途的解析： 1.异步获取数据 async function fetchData() { const response = await fetch(' ......
[问题记录] C# 使用NPOI操作Excel模版写入数据 - 生成文件打开时提示 "发现 XXX.xlsx 中的部分内容有问题..."
解决方案： 1.先确保原来的模版文件打开是正常的，没有提示要恢复 2.用Office打开这个模版文件，另存为一个文件。用这个文件来作为模版使用。 问题描述： 使用C# NPOI 操作Excel模版 （模版用office打开是正常的），写入数据 ， 导出的文件打开时提示是否尝试恢复 ，点击 “是” 后 ......
centos安装pg数据库
1.下载yum源 yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm 2.安装libzstd 否则安装数据库报错Req ......
达梦数据库常用SQl语句
1.创建表空间语句 1 create tablespace "表空间名" datafile '数据文件路径/表空间名.DBF' size 256(初始大小) autoextend on maxsize 67108863P(设置自动增长) CACHE = NORMAL; 2.创建用户 1 CREATE ......
1-4时间序列数据建模流程范例
0.配置 import torch print('torch.__version__ = ', torch.__version__) """ torch.__version__ = 2.1.0+cpu """ import os #mac系统上pytorch和matplotlib在jupyter中同 ......
SpringBoot+JaywayJsonPath实现Json数据的DSL(按照指定节点表达式解析json获取指定数据)
场景 若依前后端分离版手把手教你本地搭建环境并运行项目： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/108465662 在上面搭建SpringBoot项目的基础上，并且在项目中引入fastjson、hutool等所需依赖后。 ......
Python 学习路线：介绍、基础语法、数据结构、算法、高级主题、框架及异步编程详解
Python 介绍 Python 是一种 高级 的、解释型 的、通用 的编程语言。其设计哲学强调代码的可读性，使用显著的缩进。Python 是 动态类型 和 垃圾收集 的。 基本语法 设置 Python 环境并开始基础知识。 文章链接：Python 安装与快速入门 变量 变量用于存储在计算机程序中引 ......
线程池读取SAP数据（明细导入根据物料带出具体数据）
内容以及代码参考：Java高并发核心编程（卷2）：多线程、锁、JMM、JUC、高并发设计模式 场景：流程页面上，通过非标配置，明细表里的物料编码会自动根据RFC函数读取物料名称，描述，等级，采购组等具体数据 ThreadPoolExecutor线程池7大参数： corePoolSize： 核心线程数 ......
erlang.mk erlang 应用构建工具
erlang.mk erlang 应用构建工具，主要以来了make 进行erlang 应用的构建 安装使用 核心是一个依赖工具，如果安装了xcode，git 以及make 都是包含了的 基础安装 brew install erlang git make 安装erlang.mk wget https: ......
DataSophon集成StarRocks分析数据库
DataSophon集成StarRocks分析数据库 StarRocks官方文档： StarRocks | StarRocks StarRocks下载地址： Download StarRocks Free | StarRocks 选择自己要安装的版本下载,StarRocks-3.2.1.tar.gz ......
如何让数据可视化为更好地为企业服务？
数据可视化在企业中扮演着至关重要的角色，为决策者提供了直观、深入的数据解读，帮助他们更好地理解业务状况并作出明智的决策。今天我就以可视化从业者的角度来简谈说说如何让数据可视化为更好地为企业服务。 首先，数据可视化可以让数据更易懂。企业通常面临着海量的数据，如销售、市场、客户和运营数据等。数据可视化通 ......
pageoffice6 实现提取数据区域为子文件(Word拆分)
在实际的开发过程中，有时会遇到希望提取Word文档中部分内容保存为子文件的需求，PageOffice支持提取Word文档数据区域中的内容为一个Word文件流，在服务器端创建PageOffice的WordReader命名空间中的WordDocument对象并获取到DataRegion对象，再调用Dat ......
新手友好、轻量级的C#/.NET万能工具库
前言 今天分享一个基于MIT License协议开源、免费、新手友好、轻量级的C#/.NET万能工具库、帮助类库(支持.NET和.NET Core，可以帮助开发者们减少常见重复功能方法查找，提高开发工作效率)：Masuit.Tools。 项目官方介绍 全龄段友好的C#万能工具库，码数吐司库，包含一些 ......
rebar3 erlang 项目管理工具
rebar3 是erlang 提供的构建，测试以及发布工具 安装 下载 wget https://s3.amazonaws.com/rebar3/rebar3 && chmod +x rebar3 安装 ./rebar3 local install 之后配置环境变量 使用 提供的命令 as High ......
使用代码生成工具快速开发应用-结合后端Web API提供接口和前端页面快速生成，实现通用的业务编码规则管理
在前面随笔《在Winform应用中增加通用的业务编码规则生成》，我介绍了基于Winform和WPF的一个通用的业务编码规则的管理功能，本篇随笔介绍基于后端Web API接口，实现快速的Vue3+ElementPlus前端界面的开发整合，同样是基于代码生成工具实现快速的前端代码的生成处理。 ......
EEPROM M24C64替换AT24C64出现读取数据为0xff情况解决办法
EEPROM M24C64替换AT24C64出现读取数据为0xff情况解决办法 硬件情况 STM32F103CBT6+模拟IIC，主频72MHz，IIC上拉电阻3.3kΩ 出现原因 在IIC停止信号上，SCL、SDA翻转间隔不足以被M24C64识别，导致读写出错。 修改前IIC停止代码如下： voi ......
MATLAB图像处理工具箱
表1 图像显示 函数名功能说明函数名功能说明 colorbar 颜色条显示 montage 按矩形剪辑方式显示多帧图像 getimage 从坐标系中获取图像数据 immovie 从多帧索引图像中制作电影 image 建立显示图像 movie 播放电影 subimage 在同一图像窗口显示多个图像 t ......
vue3 + java 查询数据前后端时间不一致如何解决？
环境：vue3 + springboot + mybatis + mysql 场景：后端返回的时间与前端接收到的时间，小时不一致， 时间格式是古巴标准时间："CST" 解决：在 Entity 中时间字段上增加注解： @JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss ......
linux下域名解析工具
1、dig [root@hlcc_master mysqlinit]# dig www.baidu.com ; <<>> DiG 9.11.4-P2-RedHat-9.11.4-26.P2.el7_9.13 <<>> www.baidu.com ;; global options: +cmd ;; ......
为啥不建议用BeanUtils.copyProperties拷贝数据
在实际的业务开发中，我们经常会碰到VO、BO、PO、DTO等对象属性之间的赋值，当属性较多的时候我们使用get，set的方式进行赋值的工作量相对较大，因此很多人会选择使用spring提供的拷贝工具BeanUtils的copyProperties方法完成对象之间属性的拷贝。通过这种方式可以很大程度上降... ......
首批！天翼云大数据平台率先通过信通院无服务器架构大数据平台测试
近日，天翼云大数据平台顺利完成中国信通院无服务器(Serverless) 架构大数据平台测试，成为首批通过该测试的单位之一 ......
升讯威在线客服系统的并发高性能数据处理技术：超强的 SignalR
客户组织多名客服上线后，所有员工**同一时间**打开访客页面**疯狂不停**的给在线客服发消息，系统稳定**无异常无掉线**，客服回复消息正常。消息**实时到达**无任何延迟。我会通过一系列的文章详细分析升讯威在线客服系统的并发高性能技术是如何实现的，使用了哪些方案以及具体的做法。 ......
设备管理系统 功能图解
系统介绍 先腾设备管理系统是针对制药企业设备管理上的时点量身打造的一款设备预防性维护管理软件。包括备品备件管、设备点检、资产盘点、维修指标分析可视化、权限管理等功能，支持手机与PC端同步控制，能有效解决工厂设备繁杂难以集中管理、实时监测、及时报修等问题，助您搭建更完善的工厂管理体系。 系统架构 FU ......