安全认证elasticsearch
Django框架之drf：7、认证组件，权限组件，频率组件，过滤的多种用法，排序，分页
Django框架之drf 一、认证组件 简介： 登录认证的限制 认证组件是drf框架给我们提供的认证接口，它能够在请求进入视图函数/类前进验证（例如：认证用户是否登录），对不符合认证的请求进行拦截并返回校验失败的信息 1、认证组件使用步骤 模块地址： from rest_framework. ......
elasticsearch中使用runtime fields
1、背景 在我们使用es的开发过程中可能会遇到这么一种情况，比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型，但是后期发现需要使用这个字段来进行聚合操作，那么我们除了对索引进行reindex操作外，还有什么办法可以解决这个问题呢？此处我们通过runtime f ......
在elasticsearch中简单的使用script_fields
#1、背景 在我们使用es时，有些时候需要动态返回一些字段，而这些字段是通过动态计算得出的，那么此时该如何操作呢？ 比如：我们索引中有一个sex字段，保存的是1或0，而在页面上需要展示男或女，那么这个时候就可以使用script_fields来解决。可能有些人说，我通过后台进行格式化一下不就行了吗，但 ......
《深入理解Java虚拟机》第三章读书笔记（二）——HotSpot垃圾回收算法实现(OopMap，安全点安全区域，卡表，写屏障，三色标记算法)
系列文章目录和关于我 前面《深入理解Java虚拟机》第三章读书笔记（一）——垃圾回收算法我们学习了垃圾回收算法理论知识，下面我们关注下HotSpot垃圾回收算法的实现，分为以下几部分 对象是垃圾的判断依据 GC Roots 是如何高效扫描的 如何解决跨代引用对象的垃圾回收问题 如何降低垃圾回收STW ......
SqlServer服务中利用触发器对指定账户进行登录ip限制提升安全性
转眼间上次写文章已经是 2022年12月15日的事情啦，本来从2022年7月份开始写作之后保持着每周一篇，然而从12月15日后断更了这么久，经历了，隔离、阳、过年、从今天开始继续坚持写作，本片文章给大家分享 SqlServer服务中利用触发器对指定账户进行登录ip限制从而提升账户的安全性，这样可以灵 ......
【Rust学习】内存安全探秘：变量的所有权、引用与借用
Rust 语言由 Mozilla 开发，最早发布于 2014 年 9 月，是一种高效、可靠的通用高级语言。其高效不仅限于开发效率，它的执行效率也是令人称赞的，是一种少有的兼顾开发效率和执行效率的语言。 ......
elasticsearch之exists查询
一、exists查询简介 elastic search提供了exists查询，用以返回字段存在值的记录，默认情况下只有字段的值为null或者[]的时候，elasticsearch才会认为字段不存在； exists查询的形式如下，其中field用于指定要查询的字段名字； { "query": { "e ......
elasticsearch之search template
一、search template简介 elasticsearch提供了search template功能，其会在实际执行查询之前，对search template进行预处理并将参数填充到template中。 elasticsearch主要提供了两个API来支持search template _sc ......
使用Logstash工具导入sqlserver数据到elasticSearch及elk分布式日志中心
首先记下这个笔记，Logstash工具导入sqlserver数据到elasticSearch。 因为logstash使用java写的，我本地开发是win11，所以javade jdk必须要安装。具体安装不介绍了，就是网上下个java8，不要去官网要账号什么的,不是java开发不太折腾，目前只用jav ......
企业应用架构研究系列二十五：IdentityServer4 认证服务搭建
IdentityServer4 更新了开源协议，曾经想替换它，不在使用IdentityServer4 ，但是后来，研究来研究去，发现IdentityServer4 的功能实在是强大，设计体系完整，随着最后版本的升级，现在 IdentityServer4 已经可以在.Net Core 6.0 环境中进 ......
elasticsearch实现基于拼音搜索
1、背景 一般情况下，有些搜索需求是需要根据拼音和中文来搜索的，那么在elasticsearch中是如何来实现基于拼音来搜索的呢？可以通过elasticsearch-analysis-pinyin分析器来实现。 2、安装拼音分词器 # 进入 es 的插件目录 cd /usr/local/es/ela ......
elasticsearch实现简单的脚本排序(script sort)
1、背景 我有一堆学生数据，其中湖北省的学生需要排在所有数据的最前面。其余省正序排序，对于同一个省的数据，按照年龄倒序排序。 2、分析 对于上方的排序需求，湖北省的学生数据需要排在前端，但是湖北省并不是一个字段，那么这个时候改如何实现呢？对于这种场景我们很容易就想到需要脚本script sort来实 ......
你可能不知道的容器镜像安全实践
近年来应用程序逐步广泛运行在容器内，容器的采用率也是逐年上升。云原生时代已经到来，如果说容器是云原生时代的核心，那么镜像应该就是云原生时代的灵魂。镜像的安全对于应用程序安全、系统安全乃至供应链安全都有着深刻的影响，希望我们都能够提高对安全的重视。 ......
Java中Elasticsearch 实现分页方式(三种方式)
目录 ES 简介 ES 的特点： 一、from + size 浅分页 二、scroll 深分页 scroll删除 三、search_after 深分页 ES 简介 Elasticsearch 是一个基于 Lucene 实现的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful ......
ElasticSearch必知必会-进阶篇
京东物流：康睿 姚再毅 李振 刘斌 王北永 说明：以下全部均基于elasticsearch8.1 版本 一.跨集群检索 - ccr 官网文档地址： https://www.elastic.co/guide/en/elasticsearch/reference/8.1/modules-cross-cl ......
Java安全之JDBC Attacks学习记录
Java安全之JDBC Attacks 写在前面 很早就看到了Make JDBC Attacks Brilliant Again议题，一直想分析学习下，但是太懒。 MySQL 原理概述 "扩展参数" 就是本次导致安全漏洞的一个重要的部分。 Mysql JDBC 中包含一个危险的扩展参数： ”auto ......
WebGoat-8.2.2靶场之不安全的反序列化漏洞
前言 序列化是将变量或对象转换成字符串的过程 反序列化就是把一个对象变成可以传输的字符串，目的就是为了方便传输 而反序列化漏洞就是，假设，我们写了一个class，这个class里面存有一些变量。当这个class被实例化了之后，在使用过程中里面的一些变量值发生了改变，之所以会产生反序列化漏洞是因为应用 ......
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
C++可执行文件绝对路径获取与屏蔽VS安全检查
前言 前几天写新项目需要用到程序所在绝对路径的时候，发现网上居然一点相关分享都没有。 > _pgmptr 翻箱倒柜找出了几本教程，发现了一个叫_pgmptr的东西。 进去看了一下，在stdlib.h里拓展到了函数__p__pgmptr()，函数原型： _CRT_INSECURE_DEPRECATE_ ......
elasticsearch之单请求多查询
一、需要解决的问题 有的时候我们需要同时执行多个查询，并且需要得到每个单独查询的搜索结果，elasticsearch提供了multi search此需求的支持； 二、elasticsearch multi search简介 elasticsearch提供了multi search api来支持一个请 ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
DevSecOps 需要知道的十大 K8s 安全风险及建议
Kubernetes （K8s）是现代云原生世界中的容器管理平台。它实现了灵活、可扩展地开发、部署和管理微服务。K8s 能够与各种云提供商、容器运行时接口、身份验证提供商和可扩展集成点一起工作。然而 K8s 的集成方法可以在任何基础设施上运行任何容器化应用程序，这使得围绕 K8s 和其上的应用程序堆 ......
Django框架：13、csrf跨站请求伪造、auth认证模块及相关用法
Django框架 一、csrf跨站请求伪造 1、简介 csrf是django默认中间件中的一道，它用于验证网页的真伪性，通过在在前端页面设置csrf_token令牌，这样转递到后端的信息将会在csrf中间件中进行验证，虚假的网站中不会有csrf令牌的键值对，这样就虚假的网站所传递来的信息将会被c ......
elasticsearch之metric聚合
1、背景 此篇文章简单的记录一下 elasticsearch的metric聚合操作。比如求 平均值、最大值、最小值、求和、总计、去重总计等。 2、准备数据 2.1 准备mapping PUT /index_person { "settings": { "number_of_shards": 1 }, ......
（四）elasticsearch 源码之索引流程分析
1.概览 前面我们讨论了es是如何启动，本文研究下es是如何索引文档的。 下面是启动流程图，我们按照流程图的顺序依次描述。 其中主要类的关系如下: 2. 索引流程 (primary) 我们用postman发送请求，创建一个文档 我们发送的是http请求，es也有一套http请求处理逻辑，和sprin ......
基于 Traefik 的激进 TLS 安全配置实践
前言 Traefik是一个现代的HTTP反向代理和负载均衡器，使部署微服务变得容易。 Traefik可以与现有的多种基础设施组件（Docker、Swarm模式、Kubernetes、Marathon、Consul、Etcd、Rancher、Amazon ECS...）集成，并自动和动态地配置自己。 ......
如何用 30s 给面试官讲清楚什么是 Session-Cookie 认证
引言 由于 HTTP 协议是无状态的，完成操作关闭浏览器后，客户端和服务端的连接就断开了，所以我们必须要有一种机制来保证客户端和服务端之间会话的连续性，也称为认证，最常见的应用场景就是保持用户的登录态。 最基本的认证方式，就是使用 Sesson-Cookie。 30s 图解 Sesson-Cooki ......
Elasticsearch查询及聚合类DSL语句宝典
随着使用es场景的增多，工作当中避免不了去使用es进行数据的存储，在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作，DSL对SE的意义就像SQL对MySQL一样，学会如何编写查询语句决定了后期是否能完全驾驭ES，所以至关重要，本专题主要是分享常用的DSL语句，拿来即用。 ......
为什么 Random.Shared 是线程安全的
在多线程环境中使用 Random 类来生成伪随机数时，很容易出现线程安全问题。例如，当多个线程同时调用 Next 方法时，可能会出现种子被意外修改的情况，导致生成的伪随机数不符合预期。 为了避免这种情况，.NET 框架引入了 Random.Shared 属性。它返回一个特殊的 Random 实例，可 ......
elasticsearch global 、 filters 和 cardinality 聚合
1. 背景 此处将单记录一下 global 、 filters和cardinality的聚合操作。 2、解释 1、global global聚合是全局聚合，是对所有的文档进行聚合，而不受查询条件的限制。 global 聚合器只能作为顶级聚合器，因为将一个 global 聚合器嵌入另一个桶聚合器是没有 ......