结构 数据结构 队列 算法
官方数据分析1
# 大数据处理与应用hive ```shell #修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆 vi /etc/hosts 172.18.39.103 hadoop000 hostnamectl set-ho ......
网络采集与数据分析1
# 网络采集与数据分析 ```shell #修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆 vi /etc/hosts 172.18.39.103 hadoop000 #配置免密################ ......
算法
# 算法合集 ## 读入输出 ```java import java.io.BufferedReader; import java.io.InputStreamReader; import java.io.PrintWriter; import java.util.StringTokenizer; ......
代码随想录算法训练营第三天| 203.移除链表元素 、 707.设计链表 、206.反转链表
链表的构造： link.h: 1 #ifndef LINK_H 2 #define LINK_H 3 #include<vector> 4 5 struct ListNode { 6 int val; 7 ListNode* next; 8 ListNode() :val(0), next(null ......
数据库事务隔离级别
标准隔离级别 读未提交、读已提交、可重复读、串行化 串行化 对事务中所有读写的数据加上读锁、写锁、范围锁。所以冲突的事务必须同步执行。 //console1 start transaction ; select * from transaction_test where `key`=1; updat ......
基于达梦云原生大数据平台的物流信息数据中台系统项目的阶段总结
项目目的：在达梦云原生大数据平台上搭建所需环境，实现系统功能。 数据采集模块负责制定采集规则并采集数据。数据源为mysql数据库。数据文件格式分别为txt、xls等。 对于我们团队展示的作业建民老师给出了以下几点要求 1.要开发android端，这样才能更加方便用户的使用 2.要试着去实现集装箱的最 ......
sklearn数据集的使用
# 1.数据集 **学习是可能用到的数据集** >训练集分为训练集和测试集 Kaggle https://www.kaggle.com/datasets 大数据竞赛平台 80 万科学家 真实数据 数据量巨大 UCI http://archive.ics.uci.edu/ml/ 收录了 559 个数据 ......
文心一言 VS 讯飞星火 VS chatgpt （36）-- 算法导论5.3 6题
# 六、请解释如何实现算法 PERMUTE-BY-SORTING，以处理两个或更多优先级相同的情形。也就是说，即使有两个或更多优先级相同，你的算法也应该产生一个均匀随机排列。 ## 文心一言： 算法 PERMUTE-BY-SORTING 是一种基于排序的随机排列算法，它通过将输入数组中的元素按照优先 ......
数据分析实例
1、导入用于分析和可视化作图的库 import pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns #seaborn也很强大，可以小试一下 da=pd.read_csv('D:/datasource/mycrawldata ......
python 数据可视化———电子商务销售分析
一、选题背景 随着互联网和移动互联网技术的不断发展，电子商务已经成为了一个全球性的发展趋势。越来越多的商家和消费者都开始使用电子商务平台进行线上交易，这在一定程度上改变了传统商业模式，并且对于消费者而言，电子商务平台也提供了更为便捷的购物体验。因此，对于电子商务销售的分析就显得尤为重要。通过对电子商 ......
大数据学习笔记hadoop、hive、java
HDFS伪分布式集群搭建 tar -zxvf hadoop-2.7.7.tar.gzecho $JAVA_HOME/root/software/jdk1.8.0_221#查看loaclhostvim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env ......
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
大数据分析python
# 导库import numpy as npimport pandas as pd # 读取数据data =pd.read_csv('logistics.csv')data.head(10) 思路：直接查看不同公司的数量即可 df1=data.groupby('货运公司名称').size().res ......
数据同步智能化！利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓
钉钉数据同步需求 钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。 很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通过报表工具进行统计分析，实现这种自动化流程通常的做法是写一段 python ......
Raft一致性算法
分布式的高可用方案都会考虑容灾， 那么redis高可用是如何做到故障自动切换的？ 1 增加主客观下线判定。 对于主客观下线判定，当某个哨兵节点与主节点连接超时，则将其标志位主观下线，然后开始将主节点下线这个信息与其他哨兵节点同步，其他哨兵节点根据自身与主节点的通信情况，做出赞成或者否决票。 如果赞成 ......
Kali 用 Wireshark 抓取网络数据包
这个Wireshark是可视化操作工具，可以直接打开。 如下图所示，如果是中文版的，可以直接操作： 如果是英文版的，就点击 Capture 后，选择 Options 打开如下窗口： 以上，我们可以选择 eth0 或 Kiioback:io 进行抓包，这里每个人的接口可能不一样，选择好后点击开始（st ......
备份mysql全量数据库为sql文件
进入数据库bin目录，cmd运行mysqldump -utest -ptest --all-databases > all.sql 备注 -u后面接用户名 -p后面接密码 “>”是方向,这里指从左到右 备份结果：cmd命令行无提示错误即可， 备份结束的SQL文件才会显示文件大小，之前不显示文件大小。 ......
golang实现设计模式汇总-创建型 | 结构型 | 行为型
历时一个多星期的常用设计模式暂告一段落，今天汇总下使用频率较高的几种常见设计模式。 以下个人根据类型分为3种，不喜勿喷： * 创建型 * 结构型 * 行为型 ### 1.创建型 常用如下： * [单例模式](https://juejin.cn/post/7238604003599974456) * ......
蛋白质结构预测的研究方法及未来发展趋势
蛋白质结构预测的研究方法及未来发展趋势 1. 引言 蛋白质是生物大分子，在生物体内执行运输分子、响应刺激、为细胞提供结构以及催化代谢反应等基本功能。蛋白质包含通过肽键连接的一条或多条氨基酸残基长链。在自然环境中，蛋白质通常自发折叠成特定的三级结构，其中每个原子在分子的三维空间中占据独特的位置。驱动蛋 ......
【如何三行代码下载指定的股票或者基金数据到pandas中】用pandas做爬虫
import pandas url="http://vip.stock.finance.sina.com.cn/quotes_service/view/cn_bill_sum.php?num=100&page=1&sort=totalvolpct&asc=0&volume=1000000&type= ......
通过cond实现阻塞队列
package main import ( "fmt" "sync" "time" ) type queue struct { items []interface{} mutex *sync.Mutex cap int readerCond *sync.Cond writerCond *sync.C ......
数据结构整理
数据结构模板整理，请自取。 ### 线段树 [$\operatorname{Sgt}$](https://www.luogu.com.cn/paste/870hl6p4) [$\operatorname{BIT}$](画大饼) ### 平衡树 [$\operatorname{Treap}$](htt ......
mybatis拦截器实现数据权限
前端的菜单和按钮权限都可以通过配置来实现，但很多时候，后台查询数据库数据的权限需要通过手动添加SQL来实现。 比如员工打卡记录表，有id,name,dpt_id,company_id等字段，后两个表示部门ID和分公司ID。 查看员工打卡记录SQL为：`select id,name,dpt_id,co ......
算法题总结-找零钱
原题 给定数组arr，arr中所有的值都为正整数且不重复。每个值代表一种面值的货币，每种面值的货币可以使用任意张，再给定一个aim，代表要找的钱数，求组成aim的最少货币数。 如果无解，请返回-1. 数据范围：数组大小满足 0 \le n \le 100000≤n≤10000 ， 数组中每个数字都满 ......
BBA EDI项目数据库方案开源介绍
近期为了帮助广大用户更好地使用 EDI 系统，我们根据以往的项目实施经验，将成熟的 EDI 项目进行开源。用户安装好知行之桥EDI系统之后，只需要下载我们整理好的示例代码，并放置在知行之桥指定的工作区中，即可开始使用。 今天的文章主要为大家介绍 BBA EDI 项目，了解如何获取开源的项目代码以及如 ......
算法题总结-01背包问题
01背包问题基本可以用一句话描述，i件物品中挑选若干不重复放入容量V的背包中，使得价值最大 核心转移方程为 ```python F[i][v] = max(F[i-1][v],F[i − 1, v − Wi] + Ci) ``` 方程就一个意思，i件物品的最大价值，可以划分为 i-1件物品的最大价值 ......
Python 基础数据类型
## 基础数据类型 ### 一、数字 ``` 2 是一个整数的例子。 长整数 不过是大一些的整数。 3.23和52.3E-4是浮点数的例子。E标记表示10的幂。在这里，52.3E-4表示52.3 * 10-4。 (-5+4j)和(2.3-4.6j)是复数的例子，其中-5,4为实数，j为虚数，数学中表 ......
Django连接mysql数据库
1、在settings.py文件中配置数据库 ，需要提前创建好库，并注册app【python manage.py startapp login 提前创建一个名为"login "的app应用】 2、在login文件夹的models.py中创建一个User表 3. 安装pymysql pip insta ......
算法刷题记录：P1563 [NOIP2016 提高组] 玩具谜题
###题目链接 https://www.luogu.com.cn/problem/P1563 ###题目分析 既然是环形问题，那么直接取模来进行模拟即可，注意**顺时针**和**逆时针** 顺时针的箭头是向左拐，是`+`，逆时针的箭头是向右拐，是`-` ###AC代码 ```c++ // Probl ......