日常工作 比例 文件 数据
递归获取指定目录下的指定类型的文件
1：递归获取指定目录下的指定类型的文件 public class FileTool { /// <summary> /// 私有变量 /// </summary> private static List<FileInfo> lst = new List<FileInfo>(); /// <summa ......
当前大数据时代的一个流式日志采集工具——Flume
1.什么是流式日志？ 大数据时代的数据大概的说可以分为流式的data以及批式的data 什么意思呢？ 顾名思义就是，对data进行处理的方式不一样，流式就是像流水一样，不断流入，它是每时每刻都有的，实时的都需要进行收集然后处理； 反观批式data，它是一批一批的来，等到收集到一批（达到某个阈值）da ......
大数据-笔记-1
大数据-笔记-1 文章地址： https://www.cnblogs.com/rabbit-dayi/ 1. 安装 2. 查看三台虚拟机IP 设置静态IP 3. 修改IPV4为manual IP 地址如下： gataway : 192.168.83.2 mask : 24 master: 192.1 ......
MySQL千万级数据库查询怎么提高查询效率
查询效率慢的原因： 1：没有加索引或者索引失效 where条件使用如下语句会索引失效：null、！=、<>、or连接、in（非要使用，可用关键字exist替代）和not in、'%abc%'； 使用参数：num=@num、表达式操作：where num/2=100、函数操作：where substr ......
自己写数据结构
#include<iostream> #include<array> template<typename T,size_t S> class Array { private: T m_data[S]; public: constexpr int Size()const { return S; } T ......
数据采集与融合技术实践四
一、作业内容 作业①: 熟练掌握 Selenium 查找HTML元素、爬取Ajax网页数据、等待HTML元素等内容。 使用Selenium框架+ MySQL数据库存储技术路线爬取“沪深A股”、“上证A股”、“深证A股”3个板块的股票数据信息。 候选网站：东方财富网：http://quote.east ......
Linux 查看数据库和表
连接数据库 mysql -h localhost -u 用戶名 -p密碼 使用数据库use desk_show; 显示数据表show tables; 显示表结构describe desk6_0; mysql其他命令： 显示数据库 show databases; 创建数据库create databas ......
配置VMware的Ubuntu开发环境，ssh+文件共享目录
1. 安装samba 1.更新当前软件。 sudo apt-get upgrade sudo apt-get update sudo apt-get dist-upgrade 2.安装samba服务器。 sudo apt-get install samba samba-common 3.添加用户(下 ......
数据库设计心得
我们的项目是基于隐私包含的众包系统。在设计之前，我们先把需求搞清楚。 业务需求 雇主能发布需求，工人能接单，完成任务。哈哈，听上去还挺简单的，但涉及到雇主取消需求，雇主取消任务，工人根据标签查询需求，工人提交工作文件，工人取消订单这些功能。 初步设计 确定了工人，雇主，管理员，需求，订单，对话，这几 ......
mybatis使用id集合查询数据
dao层 int delUser(@Param("menuId") Integer menuId,@Param("idList") List<String> idList); xml层 <delete id="delUser" > delete FROM user_role_menu WHERE m ......
importlib模块—— 另一种导入文件的方法
正常我们想要从文件 myfile 导入模块 b 时，我们会使用： from myfile import b 接下来介绍另一种导入方式，能够用字符串来导入模块： # 首先导入importlib模块 import importlib res = 'myflie.b' importlib.import_m ......
如何在不删除内容的情况下取消暂存大量文件？
内容来自 DOC https://q.houxu6.top/?s=如何在不删除内容的情况下取消暂存大量文件？ 我不小心使用 git add -A 添加了很多临时文件。 我通过以下命令成功取消了文件的暂存，并成功删除了脏索引。 git ls-files -z | xargs -0 rm -f git ......
在ASP.NET中上传下载文件实例代码
using System.IO;//检查上传文件不为空 if(File1.PostedFile!=null) { string nam = File1.PostedFile.FileName ; //取得文件名(抱括路径)里最后一个"."的索引 int i= nam.LastIndexOf(".") ......
【故障公告】数据库服务器今年第六次 CPU 100% 故障
自9月第五次数据库服务器 CPU 100% 故障之后，今天下午又出现数据库服务器 CPU 100% 故障，是今年的第六次。自从园子2013年搬上阿里云，几乎每年都会遇到数据库服务器 CPU 100% 问题，但今年创造了新记录，一年还未结束，却已遭遇六次，最困难的一年，连故障也过来凑热闹。今天的故障发... ......
neo4j图数据库
目录neo4j说明docker-compose安装命令创建节点创建节点关系创建节点并建立关系更新节点和关系查询节点和关系删除节点及关系golang执行cypher命令--创建节点golang执行cypher命令2--创建节点+建立关系 neo4j说明 Neo4j是一个高性能的NOSQL图形数据库，它 ......
高级数据结构学习笔记
0. 普适技巧 动态开点：节省空间。 标记永久化：分块的块标记本质就是这个。可以节省空间。 1. 区间最值 & 历史区间最值 link 2. 二维线段树 二维区间静态：二维 ST 表 二维前缀动态：二维树状数组 二维区间动态：二维线段树 例题：Luck and Love 3. 可持久化线段树 可持久 ......
C# EntityFramework+SQLite CodeFirst 创建数据库和数据表
1、安装NuGet包 System.Data.SQLite（System.Data.SQLite.Core、System.Data.SQLite.EF6、System.Data.SQLite.Linq ） SQLite.CodeFirst EntityFramework 2、配置App.config ......
分布式文件系统FastDFS
目录目前系统存在的缺点分布式文件系统FastDFS介绍概念架构文件上传文件下载 目前系统存在的缺点 目前是通过tomcat提供虚拟目录的方式供用户访问；当然也可以通过nginx实现静态资源访问的方式 文件冗余在tomcat挂了的情况下不能提供服务； 目前是单一文件服务的存储（依赖tomcat不能进行 ......
ASP.NET文件的上传与下载
（1）上传文件前台： <table align="center" cellpadding="0" cellspacing="0" width="100%"> <tr> <td align="right">文件名称：</td> <td> <asp:TextBox ID="FileName" runat ......
[MFC]过滤数组中重复的数据
之前在帮客户开发一个自动读取物理网卡地址功能的时候，获取到的网卡地址偶尔会出现重复，如下图，无论是单张网卡还是多张网卡都存在这个问题。由于我获取的网卡地址是存放于CStringArray中，所以我得对其中的数据进行去重才能正常地显示网卡地址。 为此，我在网上找到资料，用映射表类CMap的操作符[]来 ......
大型数据库实验三
实验三--熟悉常用的HBase操作 1、列出HBase所有表的信息，例如表名 2、在终端打印出指定的表的所有的就数据 3、向已经创建好的表中添加或者删除指定的列族或列 添加数据： 删除数据： 4、清空指定的表的所有的数据 5、统计表的行数 6、将下面的关系数据库，转换为合适的hbase格式将数据存储 ......
数据结构的两个层次
逻辑结构： 描述数据元素之间的逻辑关系 与数据的存储无关，独立于计算机 是从具体问题抽象出来的数学模型 2.物理结构（存储结构） 数据元素及其关系在计算机存储器中的结构（存储方式） 是数据结构在计算机的表示 关系： 存储结构是逻辑关系的映象与元素本身的映象 逻辑结构是数据结构的抽象，存储结构是数据结 ......
linux文件系统与日志分析
Linux文件系统 inode表结构 每一个inode表记录对应的保存了以下信息： inode number 节点号 文件类型 权限 UID GID 链接数（指向这个文件名路径名称个数） 该文件的大小和不同的时间戳 指向磁盘上文件的数据块指针 有关文件的其他数据 ls -i：查看inode号 sta ......
C#winform学习3(C#连接MySQL数据库)
需要引用MySQL.data.dll文件 1.右键引用，如果没有MySQL.data.dll文件则选择浏览 一般这个文件会存放在C:\Program Files (x86)\MySQL\Connector NET 8.0\Assemblies 如果没有，需要去官网自己下载即可，参考：visual s ......
基于FPGA的图像sobel边缘提取算法开发,包括tb测试文件以及matlab验证代码
1.算法运行效果图预览 2.算法运行软件版本 vivado2019.2 matlab2022a 3.算法理论概述 图像边缘检测大幅度地减少了数据量，并且剔除了可以认为不相关的信息，保留了图像重要的结构属性。有许多方法用于边缘检测，它们的绝大部分可以划分为两类：基于查找一类和基于零穿越的一类。基于查找 ......
mysql数据量过大，选择分表或分区
1. 水平分表：是对某张表同结构拆分多个表存储数据，对程序逻辑处理稍微麻烦，尤其项目后期优化或改造。例如order 分order_2022 order_2023 如果使用分表，可以用merge分表方式 2.分区：同一张表 分散存储不同磁盘上，来减轻单表数据量访问的压力。变动小，逻辑相对清晰，交给my ......
【Django】使用gunicorn部署，找不到静态文件(admin,swagger...)
先收集静态文件 # settings.py里面需要指定收集的路径STATIC_ROOT与STATIC_URL python manage.py collectstatic 添加识别代码 # urls.py path(r'^static/(?P<path>.*)$', serve, {'documen ......
DataGridView循环刷新、导出为xlsx文件，加载保存json配置文件
Winform中的DataGridView控件DataSource属性绑定到数据库，实现循环更新，并且可导出xsxl文件、暂停等功能。 注：使用第三方库有EPPlus（操作Eecel）、Newtonsoft.net（Json序列化/反序列化）、Guna2（控件库） winform布局如下： 创建Lo ......
hutool 之文件监听修改(WatchMonitor)
需求 文件修改后读取文件根据文件格式上传数据库 实现 使用hutool WatchMonitor package com.xpm.sync.syncmes; import cn.hutool.core.io.FileUtil; import cn.hutool.core.io.watch.Simpl ......