实践者 软件工程 笔记 方法

基于Kafka和Elasticsearch构建实时站内搜索功能的实践

目前我们在构建一个多租户多产品类网站,为了让用户更好的找到他们所需要的产品,我们需要构建站内搜索功能,并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施,以及支持此搜索能力的技术栈。 ......
Elasticsearch 实时 功能 Kafka

「学习笔记」平衡树基础:Splay 和 Treap

「学习笔记」平衡树基础:Splay 和 Treap 点击查看目录 知识点 平衡树概述 二叉搜索树(BST)的简单定义: 根节点的左子树权值 $<$ 根节点权值 $<$ 根节点的右子树权值; 左子树和右子树均为二叉搜索树。 这样的数据结构可以维护一个集合的以下操作: 查找最小/最大值; 插入一个元素; ......
基础 笔记 Splay Treap

Scrapy 常用方法以及其补充

本文作者:ZiCh 本文链接:https://www.cnblogs.com/zichliang/p/17178868.html 版权声明:未经作者允许严禁转载 JsonRequest 使用示例 使用 JsonReuquest发送 JSON POST 请求: # -*- coding: utf-8 ......
常用 方法 Scrapy

几种类型神经网络学习笔记

跟随【导师不教?我来教!】同济计算机博士半小时就教会了我五大深度神经网络,CNN/RNN/GAN/transformer/LSTM一次学会,简直不要太强!_哔哩哔哩_bilibili了解的五大神经网络,整理笔记如下: 视频是唐宇迪博士讲解的,但是这个up主发的有一种东拼西凑的感觉,给人感觉不是很完整 ......
神经网络 神经 类型 笔记 网络

Flutter 下载篇 - 叁 | 网络库切换实践与思考

前言 本文是关于使用flutter_download_manager下载功能的实践和探索。我们将基于flutter_download_manager的功能扩展,改造成自己想要的样子。在阅读本文之前,建议先了解前两篇文章: Flutter 下载篇 - 壹 | flutter_download_mana ......
Flutter 网络

AD域安全攻防实践(附攻防矩阵图)

以域控为基础架构,通过域控实现对用户和计算机资源的统一管理,带来便利的同时也成为了最受攻击者重点攻击的集权系统。 01、攻击篇 针对域控的攻击技术,在Windows通用攻击技术的基础上自成一套技术体系,将AD域攻防分为信息收集、权限提升、凭证窃取、横向移动、权限维持等攻击阶段,把域环境下众多且繁杂的 ......
矩阵

漫谈Python魔术方法,见过的没见过的都在这里了

漫谈Python魔术方法,见过的没见过的都在这里了 就说一下,不深入 假的一览 提到魔术方法,学过python都应该知道一些。至少你得会__init__吧。 在我之前写的博文中有很多都涉及魔术方法。比如 浅谈Python中的if,可能有你不知道的,涉及__bool__和__len__ 浅谈Pytho ......
魔术 方法 Python

项目中多级缓存设计实践总结

缓存的重要性 简而言之,缓存的原理就是利用空间来换取时间。通过将数据存到访问速度更快的空间里以便下一次访问时直接从空间里获取,从而节省时间。 我们以CPU的缓存体系为例: CPU缓存体系是多层级的。分成了CPU -> L1 -> L2 -> L3 -> 主存。我们可以得到以下启示。 越频繁使用的数据 ......
缓存 项目

vivo全球商城:库存系统架构设计与实践

作者:vivo官网商城开发团队 - Xu Yi、Yan Chao 本文是vivo商城系列文章,主要介绍vivo商城库存系统发展历程、架构设计思路以及应对业务场景的实践。 一、业务背景 库存系统是电商商品管理的核心系统,本文主要介绍vivo商城库存中心发展历程、架构设计思路及应对各种业务场景的实践。 ......
架构 库存 商城 全球 系统

monorepo实践:yarn workspace + vite + typescript + react

前言 最近需要用到多包管理 monorepo 开发新项目,所以提前预研一下项目搭建。 monorepo(monolithic repository)是一种项目架构,就是用一个仓库管理多个项目(应用,库),react和babel的源码仓库都是用这种方式在管理。 优缺点略过,可以参考:精读《Monore ......
typescript workspace monorepo react yarn

口播神器,基于Edge,微软TTS(text-to-speech)文字转语音免费开源库edge-tts实践(Python3.10)

不能否认,微软Azure在TTS(text-to-speech文字转语音)这个人工智能细分领域的影响力是统治级的,一如ChatGPT在NLP领域的随心所欲,予取予求。君不见几乎所有的抖音营销号口播均采用微软的语音合成技术,其影响力由此可见一斑,仅有的白璧微瑕之处就是价格略高,虽然国内也可以使用科大讯 ......

推荐系统[八]算法实践总结V2:排序学习框架(特征提取标签获取方式)以及京东推荐算法精排技术实战

0.前言 「排序学习(Learning to Rank,LTR)」,也称「机器排序学习(Machine-learned Ranking,MLR)」 ,就是使用机器学习的技术解决排序问题。自从机器学习的思想逐步渗透到信息检索等领域之后,如何利用机器学习来提升信息检索的性能水平变成了近些年来非常热门的研 ......
算法 实战 框架 特征 标签

8个云成本优化的最佳实践

在《2022年云计算现状报告》中,国际知名软件资产管理商 Flexera 通过对近千家企业进行调查得出数据:企业平均浪费32%的云业务支出。随后,在2023年的报告中,FinOps 12年来首次超越安全,成为诸多企业关注的头等大事。 本文我们将展开聊聊企业乃至开发人员如何进行云成本优化。 1、设置指 ......
成本

Qt开发技术:Q3D图表开发笔记(一):Q3DScatter三维散点图介绍、Demo以及代码详解

前言 qt提供了q3d进行三维开发,虽然这个框架没有得到大量运用也不是那么成功,性能上也有很大的欠缺,但是普通的点到为止的应用展示还是可以的。 其中就包括华丽绚烂的三维图表,数据量不大的时候是可以使用的。 Demo:Q3DScatter散点图演示效果 Q3D提供的三维图表 依赖QtDataVisua ......

创建型:工厂模式-工厂方法、抽象工厂

简单工厂问题 简单工厂中我们通过参数来返回不同的产品对象,如果管理的对象过多,这个工厂函数会比较庞大,且当我们需要增加一个新的产品时,需要修改这个工厂方法,违反开闭原则(对拓展开放,对修改关闭)。 为了解决简单工厂模式的问题,出现了工厂方法模式。 解决简单工厂思路 简单工厂类图关系类似如下: 如上图 ......
工厂 模式 方法

方法论系列:用四个金字塔来说明金字塔原理

本系列博客就以比较知名的《金字塔原理》作为开篇,本文会以四个“金字塔”的形式介绍金字塔原理的核心概念,从而剖析金字塔的结构、了解金字塔的构建方式、掌握其中的思考逻辑以及解决问题的关键思路。为什么一金字塔原理开篇呢?因为这个是我17年入职当前这家公司时所听到的第一个方法论,在公司时隔5年依然被奉为方法... ......
金字塔 金字 方法论 原理 方法

【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)

问题描述 使用Azure Kubernetes服务(AKS),可以通过kubectl连接 pod 中查看日志,但是如何来查看节点的系统日志呢?如是否有ubuntu系统升级的记录? 问题解答 是的,可以进入AKS的节点查看系统文件,如日志文件(/var/log) 或者由应用生产的其他日志。 具体的操作 ......
集群 AKS 方法 Azure 日志

Android工程接入UnityLibrary工程

目录结构 Unity工程指UnityLibrary目录下文件; 安卓工程指app目录下文件; 整体指App目录下不包括app和UnityLibrary; 1.Unity打包时勾选导出安卓工程; 拷贝gradle.properties中:unityStreamingAssets=xxx 到整体工程的g ......
工程 UnityLibrary Android

设计模式与前端工程师

前端要不要学习设计模式 始终认为每个行业都有自己的特点,各自的专业性。一个开发工程师如果不知道电脑是哪些基本硬件组成,那么我们大概率都会认为这个人非常不专业。那么前端要不要学设计模式呢?设计模式跟前端有多大关系呢? 前端工程师首先是一个工程师,既然是一个软件工程师,那么类似设计模式、数据结构、网络相 ......
设计模式 前端 工程师 模式 工程

Java多种方法实现等待所有子线程完成再继续执行

简介 在现实世界中,我们常常需要等待其它任务完成,才能继续执行下一步。Java实现等待子线程完成再继续执行的方式很多。我们来一一查看一下。 Thread的join方法 该方法是Thread提供的方法,调用join()时,会阻塞主线程,等该Thread完成才会继续执行,代码如下: private st ......
线程 多种 方法 Java

【RSocket】使用 RSocket(二)——四种通信模式实践

Source Code: https://github.com/joexu01/rsocket-demo 0. 四种通信模式 让我们来简单复习一下 RSocket 的四种通信模式: 即发即忘 - FireAndForget:立即发送一个请求,无需为这个请求发送响应报文。适用于监控埋点,日志上报等,这 ......
RSocket 模式

算法学习笔记(18): 平衡树(一)

平衡树 建议在清楚二叉搜索树的所有操作之后食用本文。本文将略过部分基础知识 本文主要会讲到4中较常用的平衡树: Treap FHQ-Treap(无旋Treap) Splay WBLT 其实WBLT不怎么常用,但是我个人最喜欢用 我将会在另一篇文章中讲述其他的平衡树,如AVL,红黑树,替罪羊树等。 可 ......
算法 笔记 18

实践,制作一个高扩展、可视化低代码前端,详实、完整

RxEditor是一款开源企业级可视化低代码前端,目标是可以编辑所有 HTML 基础的组件。比如支持 React、VUE、小程序等,目前仅实现了 React 版。 RxEditor运行快照: 项目地址:https://github.com/rxdrag/rxeditor 演示地址( Vercel 部 ......
前端 代码

计网学习笔记三 MAC与LAN

在上一讲中,我们学习了链路层可以提供的服务😶:framing,link access,reliable delivery,error detection&correction。这一讲我们从link access中的broadcast接入方式深入,学习这种接入方式下的协议,以及衍生出的MAC地址,最 ......
笔记 MAC LAN

计网学习笔记二 Link Layer Service

在上一周的计网学习了network和Internet的总论。在这一周开始的未来几讲将集中在链路层link layer,并且会有相应的计网lab完成。在这一讲中,我们主要关注链路层提供的服务。 课程资料地址:https://cs.nju.edu.cn/lwz/networks/CH2-Direct%2 ......
Service 笔记 Layer Link

批量下载Landsat遥感影像的方法

本文介绍在USGS网站批量下载Landsat系列遥感影像的方法。 首先,打开EarthExplorer的官网,首先完成注册与登录。 接下来,点击左侧“Search Criteria”,首先选择研究区域。研究区域的划定有多种方法,可以依据地理名称选定研究区域,也可以在右侧地图中手动划定研究区域,还可以 ......
遥感 影像 Landsat 方法

批量下载浏览器网页中全部链接的方法

本文介绍在Chrome浏览器中,通过迅雷自动批量选中网页中全部下载链接并进行下载的方法。 前期的文章批量下载Landsat遥感影像的方法中,我们详细介绍了USGS遥感影像批量下载的方法。在利用这一方法生成每一幅影像的下载链接后,我们直接结合可以批量获取网页内下载链接的下载软件进行下载。而在这一过程中 ......
浏览器 链接 网页 方法

批量下载MODIS遥感影像:基于LAADS DAAC的方法

本文介绍在LAADS DAAC的官方网站中,批量、快速下载MODIS遥感影像各类产品数据的免费方法。 之前一篇文章Earthdata批量下载MODIS遥感影像的方法介绍了MODIS等遥感数据在Earthdata中批量下载的方法,但是这一方法需要可以访问外国网站才可进行,因此相对不太实用;本文所介绍方 ......
遥感 影像 方法 MODIS LAADS

Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法

本文介绍在USGS官网下载Landsat遥感影像数据时,出现报错信息,无法下载地表反射率产品(Surface Reflectance)的解决办法~ ......
Reflectance Landsat Surface 方法 数据

Kafka最佳实践

前言 Kafka 最佳实践,涉及 典型使用场景 Kafka 使用的最佳实践 Kafka 典型使用场景 Data Streaming Kafka 能够对接到 Spark、Flink、Flume 等多个主流的流数据处理技术。利用 Kafka 高吞吐量的特点,客户可以通过 Kafka 建立传输通道,把应用 ......
Kafka