统计分析 代码 数据python
三个月我迁移了100PB数据
2023年马上结束，这一年做了不少事情，有一项我可以吹好几年，忍不住和大家分享一下啊。 需求 去年底收到一项需求，要求2个月内从某云存储迁移100PB数据到微软云存储，包含几百亿个文件。当时听到这个数字我都惊呆了，别说100PB，100TB之前我都没迁移过，心里完全没底。但是老板说部门目前没有开发人 ......
第2章 查询数据库
主要内容 对三种主要类型的数据库关系进行建模 通过迁移创建和更改数据库 定义和创建应用程序 DbContext 加载相关数据 将复杂查询拆分为子查询 本章介绍如何使用 EF Core 读取（称为查询）数据库。你将创建一个数据库，其中包含 EF Core 中的三种主要类型的数据库关系。在此过程中，你将 ......
防泄密软件如何确保数据安全？
随着数字化时代的来临，企业面临着越来越复杂的数据安全威胁。选择专业的防泄密软件成为确保企业信息安全的不可或缺的一环。本文将深入探讨防泄密软件如何通过加密技术、访问控制和实时监测等手段，确保企业数据的全面安全。 1. 数据加密：保障信息不被窥探🙈 选择专业的防泄密软件（例如华企盾DSC数据防泄密系统 ......
云上攻防--云服务&&对象存储(域名接管)&&弹性计算(元数据泄露)
云上攻防--云服务&&对象存储(域名接管)&&弹性计算(元数据泄露) 对象存储 各个厂商对于对象存储的叫法不同，但是除了叫法基本没有其他区别。 对象存储各大云名词： 阿里云：OSS 腾讯云：COS 华为云：OBS 谷歌云：GCS 微软云：Blob 亚马逊云：S3 对于对象存储的漏洞或者说错误配置点如 ......
羚通视频智能分析平台视频监控汇聚平台AI智能算法识别危险地区行人入侵算法识别预警
羚通视频智能分析平台是一款基于人工智能技术的先进智能视频监控系统。它具备实时监控和分析视频数据的能力，通过运用先进的人工智能算法，能够对视频中的人、车、物等进行精确识别和跟踪，从而实现对异常行为的预警和报警。 首先，羚通视频智能分析平台的视频监控汇聚功能非常强大。它可以将来自不同摄像头的视频数据汇聚 ......
BUG分享|DMA发送数据时，会被莫名打断，或者发送乱码。
引言 在驱动ST7789屏幕时，使用了SPI+DMA进行图像刷新。在执行清屏操作时，使用配置DMA内存到外设，内存地址不变，发送的内存是一个16位的RGB565像素值变量，可以指定清屏填充的颜色。 单片机：STM32F411CEU6 库函数：标准库 现象 清屏代码如下： /* 清屏函数 输入参数填充 ......
商业银行数据模型白皮书（2023）
前沿 数据治理是银行业高质量推进数字化转型的重要基础。 数据模型建设是推动高质量数据治理体系的核心环节。 目 录 CONTENTS 前言 一、商业银行数据模型概述 （一）商业银行业数据模型发展经历四个阶段 （二）数据模型具有四大价值 二、数据模型建设模式 （一）贯彻企业战略—基于企业架构视角建模 （ ......
如何查看个人代码量
参考1 （最简单易懂）Pycharm如何统计项目中代码总行数_pycharm统计代码行数-CSDN博客 参考2 pycharm统计代码量插件statistic - 只有时间是永恒 - 博客园 (cnblogs.com) ......
day01 代码随想录算法训练营 27. 移除元素
题目： 27. 移除元素 感悟： 用快慢指针。 本题是要原地删除。 而删除这个行为在真实的计算机的数组里，是覆盖。 所以，就用两个指针，（人） 一个跑的快，一个跑的慢。他们身上带了个对讲机。 跑的快的那个人负责检测后面的数字符合要求不，比如，要不等于3的，遇到一个2，告诉跑的慢的说2符合要求。遇到一 ......
postgresql数据库备份脚本
#!/bin/bash # 定义host、账号、密码，需要自定义 pg_host='172.16.4.8' pg_user='postgres' export PGPASSWORD=postgres pg_port='5432' # 定义备份目录、备份库、文件格式，需要自定义 date_day=`d ......
CTF-日志分析
前言 平台：https://www.nssctf.cn/ [陇剑杯 2021]日志分析（问1） 点击查看题目描述 题目描述： 单位某应用程序被攻击，请分析日志，进行作答： 网络存在源码泄漏，源码文件名是_____________。(请提交带有文件后缀的文件名，例如x.txt)。得到的flag请使用N ......
20.自动化关键数据记录
目录 行为日志记录 步骤截图记录 page source记录 什么是关键数据 代码的执行日志 代码执行的截图 page source（页面源代码） 记录关键数据的作用 内容作用 日志 1. 记录代码的执行记录，方便复现场景2. 可以作为bug依据 截图 1. 断言失败或成功截图2.异常截图达到丰富报 ......
python 修改ini文件参数，保留ini文件注释的方法--未测试
使用configparser模块的write()方法在写入INI文件时默认会删除注释。要保留注释，您可以使用自定义的格式化器来处理INI文件的内容，并在写入文件时手动添加注释。 下面是一个示例代码，演示如何自定义一个格式化器，并在写入INI文件时保留注释： python复制代码 import con ......
SQLserver数据库自动备份怎么做
SQLserver数据库自动备份怎么做？ 既然SQL Server数据库对于企业来说如此重要，我们就需要通过备份的方式来保护它的安全。然而定期手动执行备份任务的话可能又觉得比较麻烦，那么SQLserver数据库自动备份怎么做呢？一般来说，我们可以借助这3个方法来自动执行数据库备份任务，解放双手，无需 ......
代码整洁之道：边界、单元测试、类
来源：博客园（作者-BNDong） 边界 边界上的代码需要清晰的分割和定义了期望的测试。应该避免我们的代码过多地了解第三方代码中的特定信息。依靠你能控制的东西，好过依靠你控制不了的东西，免得日后受它控制。 单元测试 TDD三定律 在编写不能通过的单元测试前，不可编写生成代码 只可编写刚好无法通过的单 ......
[python] 基于Dataset库操作数据库
dataset库是Python中一个用于操作数据库的简单库，它提供了一种简洁的方式与各种关系型数据库进行交互，例如SQLite、MySQL、PostgreSQL 等。你可以使用dataset库来执行查询、插入、更新和删除操作，而无需编写复杂的SQL语句。dataset库适用于小规模的数据存储和查询场 ......
阅读笔记：《代码大全》
当谈到软件开发的艺术和科学时，Steve McConnell的《代码大全》是无可争议的经典之作。它是一本旨在为软件工程师和程序员提供深入洞察的指南，旨在帮助他们提升编程技能、编写高质量代码以及有效管理整个软件开发周期。这本书不仅提供了广泛的理论知识，还结合了大量实用的案例和建议，下面我将详细探讨它的 ......
python_使用selenium进行webui测试的浏览器驱动安装步骤
以chrome浏览器为例。（前提是：python和pycharm安装成功，且能正常运行） 1、查看chrome浏览器的版本 方式一： 打开 Chrome 浏览器。 在浏览器右上角，点击三个点的图标。 在弹出的菜单中，选择“设置”。 在设置页面中，滚动到底部，点击“关于 Chrome”。 在关于 Ch ......
WPF基本布局代码
<Window x:Class="WpfApp2.MainWindow" xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x="http://schemas.microsoft.com/winfx/200 ......
Linux下netcore调用java代码
代码备份，仅供参考 自述文件 # CSharpCallJava C# invoke Java via C++ as a wraper. C# invoke C++ via P/invoke. C++ starts a JVM to run the Java code. C# code should ......
Python绘画-红太狼是怎样炼成的
红太狼简介 红太狼是狼堡的持有人，出身富裕世家，傲娇暴力女，虽然身为大小姐，但是懂得料理和家务。因为要独自照顾老公灰太狼，所以平时都摆出一副家主的气势。表面上经常用平底锅砸灰太狼，也抱怨灰太狼不如其他狼（尤其是初恋情人小白狼）混得好，但内心其实是很爱灰太狼的，常常安慰在羊村战役中落败的丈夫。 在《喜 ......
Git-统计每天特定时间区间代码提交次数-非上班时间代码提交
git-code-specific-time-of-day.sh #!/bin/bash total_count=0 # 获取最早的提交日期 first_commit_date=$(git log --pretty=format:'%ad' --date=format:'%Y-%m-%d' | so ......
【Python高级应用课程设计 】大数据分析——银行客户认购产品预测
一、选题背景 随着大数据时代的到来，银行客户认购产品的预测分析变得越来越重要。在竞争激烈的市场环境中，银行需要更好地了解客户需求，提供更精准的产品推荐和服务，以提高客户满意度和忠诚度。同时，通过预测客户认购产品，银行可以更好地规划产品线和营销策略，提高业务效益和盈利能力。本选题旨在通过对银行客户的大 ......
盾构机数据可视化监控平台 | 图扑数字孪生
图扑软件采用自研 HT for Web 产品，三维立体呈现智慧盾构机监管案例，一张图可视化界面，介绍盾构机作业流程原理。依托视图组件和 HT 丰富的二维组态与三维组态图标设计，实现了将“设备上云“后的数据动态加载效果。 ......
21. 名词性从句-考点分析-写作中的使用
名词性从句—— 一》名词充当的成分——名词，代词，非谓语动词， 从句 二》什么是名词性从句—— 三》名词性从句引导词——三类——that, weather, 特殊疑问词 四》名词性从句考点分析——写作 名词性从句有4个从句——1同位语从句，2主语从句， 3宾语从句，4表语从句 写作2个满分句型——主 ......
Git-代码量行数提交次数统计脚本
git-code-user-commit-stats.sh #!/bin/sh # 请在 unix 终端或 git-bash 中运行此脚本 printf "\n1. 项目成员数量："; git log --pretty='%aN' | sort -u | wc -l printf "\n\n2. 按 ......
python实现打扑克方法
# 游戏规则：# 一付扑克牌，去掉大小王，每个玩家发3张牌，最后比大小，看谁赢。## 有以下几种牌：# 豹子：三张一样的牌，如3张6.# 同花顺：即3张同样花色的顺子， 如红桃 5、6、7# 顺子：又称拖拉机，花色不同，但是顺子，如红桃5、方片6、黑桃7，组成的顺子# 对子：2张牌一样# 单张：单张 ......
MATLAB 实现sobol参数敏感性分析
1 % sobol 参数敏感性分析 2 %参考： 3 % csdn : https://blog.csdn.net/xiaosebi1111/article/details/46517409 4 % wiki： https://en.wikipedia.org/wiki/Variance-based ......
记一次应用程序池崩溃问题分析
问题现象： IIS部署的asp.net core服务，前端进行一些操作后，经常需要重新登陆系统。 初步分析： 根据日志，可以看到服务重新进行了初始化，服务重启应该与IIS应用程序池回收有关，查看IIS相关日志，在windows的事件查看器=>Windows日志=>系统，来源为WAS的日志(参考博客) ......
西游记jieba分词统计
import jieba 排除非人名 excludes = {"一个","那里","怎么","我们","不知","和尚","妖精","两个","甚么","不是", "只见","国王","徒弟","呆子","如何","这个","大王","原来" ......