矩阵 代码 数据python
使用python自动监控程序运行过程数据
工作中会遇到需要监控程序运行过程数据的情况，比如定时执行监控的cmd并记录执行结果，本文提供一种实现方式，便于后续排查问题。 ......
python基础篇：Python基础知识，帮助初学者快速入门
Python`是一种高级编程语言，它易于学习和使用，因此成为了许多人的首选编程语言。本文将介绍`Python`的基础知识，以帮助初学者快速入门。 ......
使用LRU加速python应用
操作系统 ：CentOS 7.6.1810_x64 Python 版本 : 3.9.12 一、背景描述 使用python开发过程中，会遇到需要使用缓存加速应用的情况，比如下面这些场景： 数据转换加速 字符串时间转换成int时间戳； 字符串时间转换成datetime类型； ... 数据解析加速 byt ......
基于 RocketMQ Connect 构建数据流转处理平台
为什么在“双11”抢红包活动及大型数据系统中总是出现 RocketMQ 的身影？ RocketMQ Connect在RocketMQ 生态中扮演什么角色？本文为大家解答上述疑问。同时，介绍 OceanBase 与 RocketMQ 如何集成以及能帮助大家解决哪些问题。 ......
在echaerts中渲染50万条数据的优化方案
背景：项目需求中要在页面上渲染大约50万条左右的波形数据图表 那么如何解决渲染中的卡顿呢？ 肯定是要从服务端和前端一起优化这是毋庸置疑的。 1.服务端： 服务端耗时最多的一定是在数据库的筛选数据的行为上，本次需求中数据的筛选是根据物理量的类型和时间来进行的。 为了提速，应当取消掉其他的筛选条件，并且 ......
如何实现云数据治理中的数据安全？
云计算被定义为计算资源的共享池，已经在不同的应用领域广泛部署和使用。在云计算中，数据治理在提高整体性能和确保数据安全方面发挥着至关重要的作用。本研究从管理和技术应用两方面探讨如何实现云数据治理中的数据 ......
如何通过Java代码在Word中创建可填充表单
有时候，我们需要制作一个Word模板文档，然后发给用户填写，但我们希望用户只能在指定位置填写内容，其他内容不允许编辑和修改。这时候我们就可以通过表单控件来轻松实现这一功能。本文将为您介绍如何通过Java代码，以编程方式在Word中创建可填充表单。下面是我整理的步骤及方法，并附上Java代码供大家参考... ......
深入理解 Python 虚拟机：集合（set）的实现原理及源码剖析
在本篇文章当中主要给大家介绍在 cpython 虚拟机当中的集合 set 的实现原理（哈希表）以及对应的源代码分析。 ......
Redis中 HyperLogLog数据类型使用总结
转载请注明出处： 目录 1. HyperLogLog 的原理 2.使用步骤 3.实现请求ip去重的浏览量使用示例 4.Jedis客户端使用 5.Redission使用依赖 6.HyperLogLog 提供了哪些特性和方法 7.使用场景总结 1. HyperLogLog 的原理 Redis Hyper ......
数据库自动收缩造成的阻塞
背景 今天上午11点时客户打电话过来说医院的CIS系统一直有阻塞，导致系统卡慢严重，信息中心的电话都快被打爆了。赶紧要了远程登录到SQL专家云，看到了系统确实存在大量的阻塞。 点击紫色圆点进入活动会话原始数据，可以看到会话标识33是阻塞的源头，造成了大量的语句被阻塞，而且阻塞已经持续了很长的时间。 ......
python渗透测试入门——Scapy库
Scapy 是一个用来解析底层网络数据包的Python模块和交互式程序，该程序对底层包处理进行了抽象打包，使得对网络数据包的处理非常简便。该类库可以在在网络安全领域有非常广泛用例，可用于漏洞利用开发、数据泄露、网络监听、入侵检测和流量的分析捕获的。Scapy与数据可视化和报告生成集成，可以方便展示起 ......
python渗透测试入门——流量嗅探器
1.代码及代码讲解。 代码编写工具：VsCode （1）socket嗅探器 首先第一个脚本是最简单的原始socket嗅探器，它只会读一个数据包，然后直接退出： import socket import os #host to listen on HOST = ''#这里输入自己的IP地址 def m ......
AD域安全攻防实践（附攻防矩阵图）
以域控为基础架构，通过域控实现对用户和计算机资源的统一管理，带来便利的同时也成为了最受攻击者重点攻击的集权系统。 01、攻击篇 针对域控的攻击技术，在Windows通用攻击技术的基础上自成一套技术体系，将AD域攻防分为信息收集、权限提升、凭证窃取、横向移动、权限维持等攻击阶段，把域环境下众多且繁杂的 ......
数据转换工具DBT介绍及实操
一、什么是DBT dbt （data build tool）是一款流行的开源数据转换工具，能够通过 SQL 实现数据转化，将命令转化为表或者视图，提升数据分析师的工作效率。dbt 主要功能在于转换数据库或数据仓库中的数据，在 E（Extract）、L（Load）、T（Transform） 的流程中， ......
漫谈Python魔术方法，见过的没见过的都在这里了
漫谈Python魔术方法，见过的没见过的都在这里了 就说一下，不深入 假的一览 提到魔术方法，学过python都应该知道一些。至少你得会__init__吧。 在我之前写的博文中有很多都涉及魔术方法。比如 浅谈Python中的if，可能有你不知道的，涉及__bool__和__len__ 浅谈Pytho ......
【Git】代码权限&分支管理
以Gitlab代码托管平台说明，也是目前应用最为广泛的企业搭建私服的选择。 1. 权限管理 [项目] 访问权限有3种：：Private、Internal、Public Private：只有组成员才能看到 Internal：只要登录的用户就能看到 Public：所有人都能看到 [项目成员] 有五种权限 ......
浅析 SplitChunksPlugin 及代码分割的意义
起因 有同事分享webpack的代码分割，其中提到了SplitChunksPlugin，对于文档上的描述大家有着不一样的理解，所以打算探究一下。 Q：什么是 SplitChunksPlugin？SplitChunksPlugin 是用来干嘛的？ A: 最初，chunks（以及内部导入的模块）是通过内 ......
低代码平台前端的设计与实现（四）组件大纲树的构建设计
在上篇文章，我们已经设计了一个简单的设计态的Canvas，能够显示经过BuildEngine生成的ReactNode进行渲染。本文，我们将继续上一篇文章的成果，设计并实现一个能够显示组件节点大纲树的组件。 什么是组件大纲树？ 我们希望用户能通过一个地方比较明显的看到当前整个ComponentNode ......
ICSFUZZ:操纵I/O、二进制代码重用以及插桩，来Fuzzing工业控制应用程序
本文系原创，转载请说明出处 Please Subscribe Wechat Official Account：信安科研人，获取更多的原创安全资讯 源码：GitHub - momalab/ICSFuzz 原文：ICSFuzz: Manipulating I/Os and Repurposing B ......
顺应潮流,解放双手,让ChatGPT不废话直接帮忙编写可融入业务可运行的程序代码(Python3.10实现)
众所周知，ChatGPT可以帮助研发人员编写或者Debug程序代码，但是在执行过程中，ChatGPT会将程序代码的一些相关文字解释和代码段混合着返回，如此，研发人员还需要自己进行编辑和粘贴操作，效率上差强人意，本次我们试图将ChatGPT直接嵌入到代码业务中，让ChatGPT生成可以直接运行的代码。 ......
性能的极致,Rust的加持,Zed-Dev编辑器快速搭建Python3.10开发环境
快就一个字，甚至比以快著称于世的Sublime 4编辑器都快，这就是Zed.dev编辑器。其底层由 Rust 编写，比基于Electron技术微软开源的编辑器VSCode快一倍有余，性能上无出其右，同时支持多人编辑代码。 安装和配置Zed.dev Zed.dev编辑器还在灰度测试阶段，暂时只释出了M ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
重新定义性价比!人工智能AI聊天ChatGPT新接口模型gpt-3.5-turbo闪电更新,成本降90%,Python3.10接入
北国春迟，春寒料峭略带阴霾，但ChatGPT新接口模型gpt-3.5-turbo的更新为我们带来了一丝暖意，使用成本更加亲民，比高端产品ChatGPT Plus更实惠也更方便，毕竟ChatGPT Plus依然是通过网页端来输出，Api接口是以token的数量来计算价格的，0.002刀每1000个to... ......
逐句回答,流式返回,ChatGPT采用的Server-sent events后端实时推送协议Python3.10实现,基于Tornado6.1
善于观察的朋友一定会敏锐地发现ChatGPT网页端是逐句给出问题答案的，同样，ChatGPT后台Api接口请求中，如果将Stream参数设置为True后，Api接口也可以实现和ChatGPT网页端一样的流式返回，进而更快地给到前端用户反馈，同时也可以缓解连接超时的问题。 Server-sent ev ......
笔精墨妙,妙手丹青,微软开源可视化版本的ChatGPT:Visual ChatGPT,人工智能AI聊天发图片,Python3.10实现
说时迟那时快，微软第一时间发布开源库Visual ChatGPT，把 ChatGPT 的人工智能AI能力和Stable Diffusion以及ControlNet进行了整合。常常被互联网人挂在嘴边的“赋能”一词，几乎已经变成了笑话，但这回，微软玩了一次真真正正的AI“赋能”，彻底打通了人工智能“闭环 ......
口播神器,基于Edge,微软TTS(text-to-speech)文字转语音免费开源库edge-tts实践(Python3.10)
不能否认，微软Azure在TTS(text-to-speech文字转语音)这个人工智能细分领域的影响力是统治级的，一如ChatGPT在NLP领域的随心所欲，予取予求。君不见几乎所有的抖音营销号口播均采用微软的语音合成技术，其影响力由此可见一斑，仅有的白璧微瑕之处就是价格略高，虽然国内也可以使用科大讯 ......
人工智能,丹青圣手,全平台(原生/Docker)构建Stable-Diffusion-Webui的AI绘画库教程(Python3.10/Pytorch1.13.0)
世间无限丹青手，遇上AI画不成。最近一段时间，可能所有人类画师都得发出一句“既生瑜，何生亮”的感叹，因为AI 绘画通用算法Stable Diffusion已然超神，无需美术基础，也不用经年累月的刻苦练习，只需要一台电脑，人人都可以是丹青圣手。 本次我们全平台构建基于Stable-Diffusion算 ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
Mybatis数据库驱动
Mybatis数据库驱动 最近在学习mybatis的源码,有一个databaseIdProvider根据不同数据库执行不同sql的功能,我正好有一个mysql还有一个瀚高数据库,就去试了一下,使用如下 pom文件导入两个数据库的驱动 <dependency> <groupId>mysql</grou ......