阶段 模型 场景 程序
基于FLink实现的实时安全检测（一段时间内连续登录失败20次后，下一次登录成功场景）
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+1的定时 ......
这6种性能优化，让你的程序飞起来！
软件设计开发某种意义上是"取"与"舍"的艺术。关于性能方面，就像建筑设计成抗震9度需要额外的成本一样，高性能软件系统也意味着更高的实现成本，有时候与其他质量属性甚至会冲突，比如安全性、可扩展性、可观测性等等。大部分时候我们需要的是：在业务遇到瓶颈之前，利用常见的技术手段将系统优化到预期水平。那么， ......
微信小程序的全局弹窗以及全局实例
全局组件 微信小程序组件关系中，父组件使用子组件需要在父组件index.json中引入子组件，然后在父组件页面中使用，这种组件的对应状态是一对一的，一个组件对应一个页面。如果有一个全局弹窗（登录），那么每个页面引入一次组件会非常麻烦，这里就需要封装全局弹窗，在页面直接引入使用即可。 微信小程序提供全 ......
加密,各种加密,耙梳加密算法(Encryption)种类以及开发场景中的运用(Python3.10)
不用说火爆一时，全网热议的Web3.0区块链技术，也不必说诸如微信支付、支付宝支付等人们几乎每天都要使用的线上支付业务，单是一个简简单单的注册/登录功能，也和加密技术脱不了干系，本次我们耙梳各种经典的加密算法，试图描摹加密算法在开发场景中的运用技巧。 可逆加密算法(对称加密) 加密算法是一种将原始数 ......
白话谈区块链和其应用场景
这篇文章半年前就写了，但是一直没有发表，今天对其进行简单的修改，主要是聊一聊区块链的一些原理（非技术层面）和应用场景，虽然自己不从事这一块，但是进行了解也是很有必要的，因为时代在发展，眼光也要看前嘛。 前言 随着社会的不断发展，数字经济的普及，传统行业不得不向数字化转型，以后一定是数字化时代，这点我 ......
C4模型，架构设计图的脚手架，你值得拥有
hi，我是熵减，见字如面。 对于软件开发团队来说，写软件设计文档，花架构图，是日常工作中的关键一项。 而其中，如何画好系统设计的架构图呢？ Simon Brown 就 提出 C4 模型，来解决这个问题。 基于C4模型的脚手架，架构师们就可以统一团队内的不同层级的视角，交付一个成体系的架构设计。 下面 ......
c++ 程序通用多线程单例设计 c++ web 框架设计经验谈
设计 c++ web 框架时候，想要一个框架缓存类，很多通用缓存类是用字符保存，作为框架内置就不要序列和反序列了，因为框架内部使用。 想给自己的paozhu c++ web 框架添加缓存类，参考了springboot 于是确定用单例设计模式缓存类模板。 c++11后静态变量已经统一为线程安全了，网络 ......
模型预处理层介绍（1） - Discretization
预处理的作用主要在于将难以表达的string或者数组转换成模型容易训练的向量表示，其中转化过程大多是形成一张查询表用来查询。 常见的预处理方式包括： class Discretization: Buckets data into discrete ranges. class Hashing: Imp ......
不同程序集，名称空间类名和方法签名都一样的方法，如何调用
有时候，你可能会遇到这样的问题，不同程序集，名称空间类名和方法签名都一样的方法，如何调用。本文将介绍如何通过别名的方式来解决这个问题。 ......
Apache Hudi 流转批 场景实践
背景 在某些业务场景下，我们需要一个标志来衡量hudi数据写入的进度，比如：Flink 实时向 Hudi 表写入数据，然后使用这个 Hudi 表来支持批量计算并通过一个 flag 来评估它的分区数据是否完整从而进一步写入分区数据进行分区级别的ETL，这也就是我们通常说的流转批。 EventTime计 ......
Java 调用 PaddleDetection 模型
文章地址 介绍 训练好的模型要给业务调用，deepjavalibrary/djl：Java 中与引擎无关的深度学习框架 (github.com) 可以完成这件事，它支持使用 Java 调用 PyTorch、TensorFlow、MXNet、ONNX、PaddlePaddle 等引擎的模型（也支持部分 ......
slate源码解析（二）- 基本框架与数据模型
源码架构 首先来看下最核心的slate包下的目录： 可以看到，作为一个开源富文本库，其源码是相当之少。在第一篇文章中说过，Slate没有任何开箱即用的功能，只提供给开发者用于构建富文本所需的最基本的一套schema及操作API。因此源码的体量自然就要少许多。 我们来预览上图中各个目录下文件所负责的功 ......
Python绘制神经网络模型图
本文介绍基于Python语言，对神经网络模型的结构进行可视化绘图的方法。 最近需要进行神经网络结构模型的可视化绘图工作。查阅多种方法后，看到很多方法都比较麻烦，例如单纯利用graphviz模块，就需要手动用DOT语言进行图片描述，比较花时间；最终，发现利用第三方的ann_visualizer模块，可 ......
随机森林RF模型超参数的优化：Python实现
本文介绍基于Python的随机森林（Random Forest，RF）回归代码，以及模型超参数（包括决策树个数与最大深度、最小分离样本数、最小叶子节点样本数、最大分离特征数等）自动优化的代码~ ......
K8S Pod Sidecar 应用场景之一-加入 NGINX Sidecar 做反代和 web 服务器
Kubernetes Pod Sidecar 简介 Sidecar 是一个独立的容器，与 Kubernetes pod 中的应用容器一起运行，是一种辅助性的应用。 Sidecar 的常见辅助性功能有这么几种： 服务网格 (service mesh) 代理 监控 Exporter（如 redis ex ......
生产者消费者模型
生产者消费者模型 什么是生产者消费者模型 我们可以把这个模型想象成工厂里的两条流水线，我们管他们叫生产者流水线和消费者流水线，生产者流水线生产出来的产品给消费者流水线使用，其中生产者流水线先把生产出来的产品放在仓库，然后消费者流水线再去仓库拿。这个仓库就叫做阻塞队列。 那么，这个仓库的实现有什么要求 ......
如何优化 Vue.js 应用程序
单页面应用（SPAs）当处理实时、异步数据时，可以提供丰富的、可交互的用户体验。但它们也可能很重，很臃肿，而且性能很差。在这篇文章中，我们将介绍一些前端优化技巧，以保持我们的Vue应用程序相对精简，并且只在需要的时候提供必需的JS。 注意：这里假设你对Vue和Composition API有一定的熟 ......
模型压缩-剪枝算法详解
近年来主流的模型压缩方法包括：数值量化（Data Quantization，也叫模型量化），模型稀疏化（Model sparsification，也叫模型剪枝 Model Pruning），知识蒸馏（Knowledge Distillation）， 轻量化网络设计（Lightweight Netwo... ......
基于pytorch实现模型剪枝
所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。本文深入描述了 pytorch 框架的几种剪枝 API，包括函数功能和参数定义，并给出示例代码。 ......
搜索EE场景排序链路升级
EE模块是搜索系统中改善生态、探索商品的重要链路，其目标是缓解数据马太效应导致模型对商品排序丰富性、探索性不足，带来的系统非最优解问题。以下分别从模型迭代、在线实验指标、离线评估体系介绍相应模块的优化。 ......
前端程序员是怎么做物联网开发的
前端程序员是怎么做物联网开发的 上图是我历时一周做的在线的温湿度可视化项目，可以查看截至目前往前一天的温度、湿度变化趋势，并且实时更新当前温湿度 本文可能含有知识诅咒 概述和基础讲解 该项目用到的技术有： 前端：jq、less、echarts、mqtt.js 后端：eggjs、egg-emqtt 数 ......
【Oculus Interaction SDK】（九）使用控制器时显示手的模型
前言 前段时间 Oculus 的 SDK 频繁更新，很多已有的教程都不再适用于现在的版本了。本系列文章的主要目的是记录现版本常见功能的实现方法，便于自己后续开发。当然，不排除我文章刚写完 SDK 又变了的可能性，所以如果有人发现文章的内容已经不适用于新版本了，也可以留评论或者私信我，我会持续更新文章 ......
在日报、读后感、小说、公文模版、编程等场景体验了一把chatGPT
相比传统的搜索引擎，它省去了“搜”的时间，只剩下“索”的结果。——题记 总结/朱季谦 昨晚经过一顿操作猛如虎的捣鼓，终于将chatGPT的访问环境在Mac笔记本上搭建了起来。 基于日报、读后感、短文、公文模版、编程这五个场景，我进行了一下简单的体验。 一、让chatGPT写日报 在网上随便找到一个日 ......
Azure Artifacts--全平台的程序包管理仓库(支持nuget)
写在前面 大部分一定规模的团队都有搭建私有nuget的需求；例如： MyGet BaGet 而我们使用的Azure DevOps 平台本身就提供了Artifacts， Artifacts不单只支持nuget包，还支持Npm、Maven、pip等； 这里简单说说nuget的Azure Devops A ......
【Redis场景3】缓存穿透、击穿问题
【Redis场景3】缓存穿透、击穿问题，涉及缓存穿透、缓存击穿问题的原因分析及解决方案，并进行压测实践；每1~2周学习整理redis中的知识点和场景实现，希望有所输入输出，每天进步一点点。 ......
【Redis场景4】单机环境下秒杀问题
【Redis场景4】单机环境下秒杀问题；涉及到全局唯一ID的生成，并发问题，库存超卖问题，一人一单秒杀问题等，相关场景进行压测，不局限于文字，注重实操。 ......
用户行为分析模型实践（三）——H5通用分析模型
本文从提升用户行为分析效率角度出发，详细介绍了H5埋点方案规划，埋点数据采集流程，提供可借鉴的用户行为数据采集方案；且完整呈现了针对页面分析，留存分析的数仓模型规划方案。 ......
面试官：什么是双亲委派模型？
双亲委派模型是 Java 类加载器的一种工作模式，通过这种工作模式，Java 虚拟机将类文件加载到内存中，这样就保证了 Java 程序能够正常的运行起来。那么双亲委派模型究竟说的是啥呢？接下来我们一起来看。 1.类加载器 双亲委派模型针对的是 Java 虚拟机中三个类加载器的，这三个类加载器分别是： ......
应用部署初探：3个主要阶段、4种常见模式
应用部署是一个将软件提供给用户的过程，通常包含配置环境、安装及测试等步骤。现如今，大部分企业在部署新的应用程序时，会至少自动化其中一些步骤。应用程序部署的策略会影响该应用的性能、稳定性以及运行速度，因此有时会在向所有人提供更新之前，先对一小部分用户进行测试。 软件开发和用户体验的现代标准要求开发人员 ......
腾讯出品小程序自动化测试框架【Minium】系列（五）API详解（下）
写在前面 又有好久没更新小程序自动化测试框架Minium系列文章了，主要真的太忙，尽量做到每周一更吧，还请大家能够理解！ 上篇文章为大家分享关于Minium中Minium、App模块的API 使用，接下来将为大家继续分享Minium中API的使用。 Page中API的使用 data 当前页面数据, ......