python交互式 代码 数据
vivo大数据日志采集Agent设计实践
作者：vivo 互联网存储技术团队- Qiu Sidi 在企业大数据体系建设过程中，数据采集是其中的首要环节。然而，当前行业内的相关开源数据采集组件，并无法满足企业大规模数据采集的需求与有效的数据采集治理，所以大部分企业都采用自研开发采集组件的方式。本文通过在vivo的日志采集服务的设计实践经验，为 ......
简单的股票行情展示演示（一） - 实时标的数据
原文链接：简单的股票行情演示（一） - 实时标的数据 一、概述 很长一段时间都有一个想法，使用QCP去做一个行情展示小事例，一直没有着手开发的原因主要是行情数据源的问题，毕竟稳定的数据才是核心，加上今年5月份有了小宝宝也一直比较忙。 最近得空研究了下用C++实现股票行情展示相关内容，主要策略是通过拉 ......
『航班乘客满意度』场景数据分析建模与业务归因解释 ⛵
本文结合航空出行的场景，使用机器学习建模，详细分析了航班乘客满意度的影响因素：机上Wi-Fi服务、在线登机、机上娱乐质量、餐饮、座椅舒适度、机舱清洁度和腿部空间等。 ......
重新认识下JVM级别的本地缓存框架Guava Cache(2)——深入解读其容量限制与数据淘汰策略
对于缓存容器而言，容量限制与数据淘汰是两个基础且核心的关键点，也是实际使用的时候使用频率最高的特性。本篇在上一文基础上深入解读下Guava Cache中的容量限制与数据淘汰策略的实现与使用约束。 ......
谁说.NET没有GC调优？只改一行代码就让程序不再占用内存
经常看到有群友调侃“为什么搞Java的总在学习JVM调优？那是因为Java烂！我们.NET就不需要搞这些！”真的是这样吗？今天我就用一个案例来分析一下。 昨天，一位学生问了我一个问题：他建了一个默认的ASP.NET Core Web API的项目，也就是那个WeatherForecast的默认项目模 ......
使用python脚本传递参数：（三种方式可收藏）
背景：使用python脚本传递参数在实际工作过程中还是比较常用，以下提供了好几种的实现方式： 一、使用sys.argv的数组传入说明：使用sys.argv必须按照先后的顺序传入对应的参数；sys.argv则封装了传入的参数数据，作为数组的方式已经传入 import sys print("传入参数的总 ......
Python：对程序做性能分析及计时统计
如果只是想简单地对整个程序做计算统计，通常使用UNIX下的time命令就足够了。由于我用的是Mac系统，和Linux系统的输出可能有不同，不过关键都是这三个时间：user: 运行用户态代码所花费的时间，也即CPU实际用于执行该进程的时间，其他进程和进程阻塞的时间不计入此数字；system: 在内核中... ......
BrokenPipeError错误和python subprocess.run()超时参数在Windows上无效
1、问题的发现 今天，一个在windows上运行良好的python脚本放到linux下报错，提示错误 BrokenPipeError: [Errno 32]Broken pipe。经调查是subprocess.run方法的timeout参数在linux上的表现和windows上不一致导致的。 try ......
自动跑测试记录后发送邮件提醒并自动解析数据
使用脚本自动跑实验（Ubuntu)，将实验结果记录在文件中，并在实验结束之后将结果通过邮件发送到邮箱，最后在windows端自动解析成excel表格。 ......
天坑，这样一个lambda随机取数据也有Bug
前几天，一位网友跟我说他编写的一段很简单的代码遇到了奇怪的Bug，他要达到的效果是从一个List中随机取出来一条数据，代码如下： 1 var random = new Random(); 2 var users = Enumerable.Range(0, 10).Select(p => new Us ......
vue 中使用 this 更新数据的一次大坑
情景说明： 之前用 vue 做数据绑定更新时，发现一个莫名奇妙的问题。 我在 vue 实例中声明了一个数组属性如 books: []，在异步请求的回调函数中使用 this.books = res.data.data; 进行数据更新，更新步骤后面紧跟着打印了 console.log(this.book ......
Entity Framework Core 7中高效地进行批量数据插入
因为之前的版本中，EF Core无法实现高效地批量插入、修改、删除数据，所以我开发了Zack.EFCore.Batch这个开源项目，比较受大家的欢迎，获得了400多个star。 从.NET 7开始，微软在Entity Framework Core 7内置了对高效地批量修改、删除数据的支持，详细请见这 ......
数据统计与可视化复习总结（二）：非参数检验、生存分析
数据统计与可视化课程总结（一）：大数定理与数理统计 - 孤飞 - 博客园 (cnblogs.com) 前面所介绍的各种检验法，是在总体分布类型已知的情况下，对其中的未知参数进行检验统称为参数检验. 在实际问题中，有时我们并不能确切预知总体服从何种分布，这时就需要根据来自总体的样本对总体分布进行推断， ......
让代码帮我们写代码（一）
Hello，大家好，又是好久不见，最近太忙了（借口）。看了下日志，有 2 个月没写文章了。为了证明公众号还活着，今天必须更新一下了。 在我们的开发过程中，总有那么些需求是那么的变态。常规的方案已经无法满足。比如某些规则非常复杂，而客户又经常要修改它。那么我们可能需要把这部分代码直接做为配置文件提取出 ......
要想后期修改少，代码重构要趁早
摘要：在敏捷中，让设计简单化，必须让设计从简单开始，然后变得成熟。要做到这一点，重构是唯一的出路。 本文分享自华为云社区《敏捷技术实践之重构》，作者：华为云PaaS服务小智 。 前言 极限编程（XP）的创始人之一Ron Jeffries说道：“在敏捷中，让设计简单化，必须让设计从简单开始，然后变得成 ......
TreeUtils工具类一行代码实现列表转树【第三版优化】 三级菜单 三级分类 附视频
一、序言 在日常一线开发过程中，总有列表转树的需求，几乎是项目的标配，比方说做多级菜单、多级目录、多级分类等，有没有一种通用且跨项目的解决方式呢？帮助广大技术朋友给业务瘦身，提高开发效率。 本文将基于Java8的Lambda 表达式和Stream等知识，使用TreeUtils工具类实现一行代码完成列 ......
python进阶（28）import导入机制原理
前言 在Python中，一个.py文件代表一个Module。在Module中可以是任何的符合Python文件格式的Python脚本。了解Module导入机制大有用处。 1. Module组成 一个.py文件就是一个module。Module中包括attribute, function等。 这里说的a ......
Selenium4+Python3系列（九） - 上传文件及滚动条操作
一、上传文件操作 上传文件是每个做自动化测试同学都会遇到，而且可以说是面试必考的问题，标准控件我们一般用send_keys()就能完成上传， 但是我们的测试网站的上传控件一般为自己封装的，用传统的上传已经不好用了， 也就是说用selenium的APi已经无法完成上传操作了。 那么下面，针对控件进行分 ......
Selenium4+Python3系列（十） - Page Object设计模式
前言 Page Object（PO）模式，是Selenium实战中最为流行，并且被自动化测试同学所熟悉和推崇的一种设计模式之一。在设计测试时，把页面元素定位和元素操作方法按照页面抽象出来，分离成一定的对象，然后再进行组织。 相信每个做自动化测试的同学，一定会遇到这样一个非常头疼的问题，那就是页面变化 ......
Selenium4+Python3系列（十一） - Page Factory设计模式
写在前面： Page Object模式，目的是将元素定位和元素操作分层，只接触测试内容，不写基础内容，便于后续对自动化测试用例体系的维护，这是中心思想，也是核心。 那么我们继续将简洁延续，这里沿用Java的Page Factory模式思想，旨在减少代码冗余，简单易用，具有高度的可扩展能力。 所以，这 ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-中
本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-下
本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节... ......
大数据下一代变革之必研究数据湖技术Hudi原理实战双管齐下-后续
本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive C... ......
MySQL数据库：6、约束的概述及语法
Python基础之MySQL数据库 一、约束概述 1、为什么要约束 为了防止数据库中存在不符合语义规定的数据和防止错误信息的输入、输出造成无效的操作而提出的 为了保证数据的完整性，SQL规范以约束的方式对表数据进行额外的条件限制，从以下四个方面考虑 实体完整性：例如一个表中不能存在两条相同的 ......
Selenium4+Python3系列（八） - Cookie、截图、单选框及复选框处理、富文本框、日历控件操作
我所在的城市昨天出了近20+的阳性案例，但这丝毫没有 “影响” 到996的工作时间，当然，也没有影响到我想继续更新文章的决心。 一、cookie常用操作入门 上一篇有写过关于cookie的实战案例，个人觉得没有很好地照顾到入门同学的感受，所以就又更新了关于cookie的基本使用操作。 1、获取所有c ......
MySQL数据库：7、SQL常用查询语句
Python基础之MySQL数据库 一、SQL语句常用查询方法 前期数据准备 为了更加直观的展示、演示SQL语句查询关键字，需导入下列表格与记录（数据） 模拟公司，导入创建公司员工表，表内包含：ID、姓名、年龄、工作时间、岗位 创建人员表格: create table emp( id int ......
label studio 结合 MMDetection 实现数据集自动标记、模型迭代训练的闭环
一个 AI 方向的朋友因为标数据集发了篇 SCI 论文，看着他标了两个多月的数据集这么辛苦，就想着人工智能都能站在围棋巅峰了，难道不能动动小手为自己标数据吗？查了一下还真有一些能够满足此需求的框架，比如 [cvat]、 [doccano] 、 [label studio]等，经过简单的对比后发现还... ......
MySQL数据库：2、MySQL的下载与安装、基本使用、系统服务制作
一、MySQL简介 MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 二、安装与下载 1、下载流程 1、访问官方（www.mysql.com） 2、点击‘DOWNLOADS’，进入下载界面 3、下拉，找到‘ ......
[Kogel.Subscribe.Mssql]SQL Server增量订阅，数据库变更监听
此框架是SQL Server增量订阅，用来监听增删改数据库数据变更 目前仅支持SQL Server，后续会支持MySQL和Oracle，Nuget上可以下载安装 或者使用Nuget命令添加包 dotnet add package Kogel.Subscribe.Mssql --version 0.0 ......
原来 GitHub 不仅能学代码，还有这些东西
我是风筝，公众号「古时的风筝」，专注于 Java技术 及周边生态。 文章会收录在 JavaNewBee 中，更有 Java 后端知识图谱，从小白到大牛要走的路都在里面。 大家好，我是风筝。 今天介绍几个很有意思的 github 开源项目，看过之后就会发现，github 果然深意暗藏。 github ......