apis集群elasticsearch索引
基于Kafka和Elasticsearch构建实时站内搜索功能的实践
目前我们在构建一个多租户多产品类网站，为了让用户更好的找到他们所需要的产品，我们需要构建站内搜索功能，并且它应该是实时更新的。本文将会讨论构建这一功能的核心基础设施，以及支持此搜索能力的技术栈。 ......
Nginx + Keepalived 高可用集群部署
负载均衡技术对于一个网站尤其是大型网站的web服务器集群来说是至关重要的！做好负载均衡架构，可以实现故障转移和高可用环境，避免单点故障，保证网站健康持续运行。在使用 Nginx 做反向代理或者负载均衡的时候，都是以 Nginx 为入口，如果 Nginx 宕机了，那么所有的服务都无法正常提供，影响非常 ......
【Redis场景5】集群秒杀优化-分布式锁
集群环境下的秒杀问题 前序 【Redis场景1】用户登录注册 【Redis场景2】缓存更新策略(双写一致) 【Redis场景3】缓存穿透、击穿问题 【Redis场景拓展】秒杀问题-全局唯一ID生成策略 【Redis场景4】单机环境下秒杀问题 在单机环境下的并发问题，我们可以使用相关锁来解决；但是在集 ......
ElasticSearch 实现分词全文检索 - 概述
ES 是一个使用Java语言并且基于Lucene编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于Restful风格的WEB接口，官方客户端也对多种语言都提供了相应的API。 ......
如何高效实现 MySQL 与 elasticsearch 的数据同步
MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 MySQL 的操作会变得非常迟缓。而公司内部 robin/logs 表的数据量已经达到 800w，后续又有全文检索的需求。这个需求直接在 MySQL 上实施是难以做到的。 原数据库的同步问题 由 ......
odoo ORM API学习总结兼orm学习教程
环境 odoo-14.0.post20221212.tar ORM API学习总结/学习教程 模型(Model) Model字段被定义为model自身的属性 from odoo import models, fields class AModel(models.Model): _name = 'a. ......
ASP.NET Core Web API 接口限流
一. 前言 ASP.NET Core Web API 接口限流、限制接口并发数量，我也不知道自己写的有没有问题，抛砖引玉。 二. 需求 写了一个接口，参数可以传多个人员，也可以传单个人员，时间范围限制最长一个月。简单来说，当传单个人员时，接口耗时很短，当传多个人员时，一般人员会较多，接口耗时较长，一 ......
ASP.NET Core Web API Swagger 按标签Tags分组排序显示
需求 swagger页面按标签Tags分组显示。 没有打标签Tags的接口，默认归到"未分组"。 分组内按接口路径排序 说明 为什么没有使用GroupName对接口进行分组？ 暂时不需要，以及不想点击swagger页面右上角那个下拉框。 当然Tags和GroupName不冲突，不影响通过GroupN ......
OpenAI 再放大招，ChatGPT 正式版 API 就是救世主尼奥，而我们都是愚蠢的人类
今天 OpenAI 公布了 ChatGPT 正式版 API，也就是说，这个最新的 API 与网页版 ChatGPT 背后用的是同一个 AI 模型，该模型被称为 gpt-3.5-turbo。 相比于 GPT-3.5，gpt-3.5-turbo 的响应速度更快，具体快到什么程度呢？举个例子你就明白了。你 ......
使用containerd搭建MinIO集群服务
概述 因为在云服务器上默认只有一块磁盘，如果直接在系统盘上安装MinIO，会被拒绝，所以这里采用containerd的方式绕过这一限制 操作环境 操作系统 CentOS 7.9 MinIO版本 RELEASE.2023-03-13T19-46-17Z 服务器host信息 192.168.10.1 m ......
OpenAI Chat completion API 入门指南
ChatGPT 由 OpenAI 最先进的语言模型 gpt-3.5-turbo 提供支持。 使用 OpenAI API，您可以使用 GPT-3.5-turbo 构建自己的程序来做一些如下的事情： 起草电子邮件或其他书面文件 编写 Python 代码 回答关于一组文档的问题 创建对话代理程序 为你的软 ......
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
问题描述 使用Azure Kubernetes服务(AKS)，可以通过kubectl连接 pod 中查看日志，但是如何来查看节点的系统日志呢？如是否有ubuntu系统升级的记录？ 问题解答 是的，可以进入AKS的节点查看系统文件，如日志文件（/var/log) 或者由应用生产的其他日志。 具体的操作 ......
云原生API网关全生命周期管理Apache APISIX探究实操
了解传统Nginx网关和基于Open Resty的Kong网关的痛点，抛出本篇主角一个云原生网关Apache APISIX，先了解其定义、特性、架构，并进一步理解其使用场景，再通过三种安装方式一步步部署和验证，也涉及到对部分Admin API的使用，最后通过apisix-dashboard可视化页面... ......
【故障公告】Kubernetes 集群节点宕机造成博客站点故障（被3.5万QPS压垮）
非常抱歉！今天 18:40-18:55 左右 Kubernetes 集群一台高配节点突然宕机，造成博客站点故障，访问时出现 502 Bad Gateway，由此给您带来麻烦，请您谅解。 发现故障并定位问题后，我们增加了新节点服务器并重启宕机节点服务器，之后恢复正常。 19:17 左右又出现故障，疑似 ......
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
描述：在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
在K8S集群中或者Docker环境中，我们可以非常方便的针对 ... ......
.Net Core中使用NEST简单操作Elasticsearch
C#中访问Elasticsearch主要通过两个包NEST和Elasticsearch.Net，NEST用高级语法糖封装了Elasticsearch.Net可以通过类Linq的方式进行操作，而Elasticsearch.Net相比之下更为原始直接非常自由。 注意：ES的8.X以上的版本有新的包Ela ......
为K8S集群准备Ceph存储
随着K8S存储接口逐渐成熟并顺势推出CSI接口规范后，原来“in-tree”(树内)模式的很多存储插件也逐步迁移到了“out-of-tree”(树外)模式的CSI插件上，甚至有些原来支持的存储卷类型都被直接移除了(例如在K8S v1.26上直接移除了 glusterfs 卷类型)，查阅了一下K8S官 ......
Eureka高可用集群服务端和客户端配置
微服务应用中，生产环境一般都需要保障服务注册中心的高可用！高可用也分好几个等级，例如：同数据中心(可用Zone区)高可用——》同地域(Region)跨数据中心(可用Zone区)高可用——》全国跨地域(Region)跨数据中心(可用Zone区)高可用——全球跨地域(Region)跨数据中心(可用Zon ......
elasticsearch之日期类型有点怪
一、Date类型简介 elasticsearch通过JSON格式来承载数据的，而JSON中是没有Date对应的数据类型的，但是elasticsearch可以通过以下三种方式处理JSON承载的Date数据 符合特定格式化的日期字符串； 基于milliseconds-since-the-epoch的一个 ......
elasticsearch之使用正则表达式自定义分词逻辑
一、Pattern Analyzer简介 elasticsearch在索引和搜索之前都需要对输入的文本进行分词，elasticsearch提供的pattern analyzer使得我们可以通过正则表达式的简单方式来定义分隔符，从而达到自定义分词的处理逻辑； 内置的的pattern analyzer的 ......
利用kubeadm部署Kubernetes v1.22.10高可用集群
一、概述 Kubernetes集群控制平面(Master)节点右数据库服务(Etcd)+其它服务组件（Apiserver、Controller-manager、Scheduler等）组成；整个集群系统运行的交互数据都将存储到数据库服务(Etcd)中，所以Kubernetes集群的高可用性取决于数据库 ......
ChatGPT API使用介绍
1.概述 随着人工智能技术的不断发展，越来越多的AI产品被应用到各个领域，其中最具代表性的莫过于人工智能语言模型。语言模型是一种可以通过学习大量语言数据来预测文本或语音的技术，其应用范围十分广泛，如智能客服、机器翻译、语音助手等。 而ChatGPT是其中最为优秀的语言模型之一。ChatGPT是Ope ......
Elasticsearch Mapping类型修改
背景 通常数据库进行分库分表后，目前比较常规的作法，是通过将数据异构到Elasticsearch来提供分页列表查询服务；在创建Elasticsearch索引时，基本都是会参考目前的业务需求、关系数据库中的类型以及对数据的相关规划来定义相关字段mapping的类型. 在Elasticsearch的ma ......
一个容器，但是一整个k8s集群
你可能需要一个快速启动和销毁的 k8s 集群；你可能在资源受限的环境中运行 k8s 集群；你可能是一个完全的初学者，觉得搭建完整的 k8s 套件太难。那么这篇短文可能可以帮到你。 ......
Centos7搭建hadoop3.3.4分布式集群
1、背景 最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。 2、集群规划 hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。2个集群都是主从结构。 2.1 hdfs集群规划 | ip地址 | 主机名 |部署服务| |--|--| ......
构建api gateway之 openresty 中如何使用 wasm
openresty 中如何使用 wasm WASM 是什么？ WebAssembly是一种运行在现代网络浏览器中的新型代码，并且提供新的性能特性和效果。它设计的目的不是为了手写代码而是为诸如C、C++和Rust等低级源语言提供一个高效的编译目标。 对于网络平台而言，这具有巨大的意义——这为客户端ap ......
IoT 边缘集群基于 Kubernetes Events 的告警通知实现
背景 边缘集群（基于 树莓派 + K3S) 需要实现基本的告警功能。 边缘集群限制 CPU/内存/存储 资源紧张，无法支撑至少需要 2GB 以上内存和大量存储的基于 Prometheus 的完整监控体系方案（即使是基于 Prometheus Agent, 也无法支撑） （需要避免额外的存储和计算资源 ......
大规模 IoT 边缘容器集群管理的几种架构-3-Portainer
前文回顾 大规模 IoT 边缘容器集群管理的几种架构-0-边缘容器及架构简介 大规模 IoT 边缘容器集群管理的几种架构-1-Rancher+K3s 大规模 IoT 边缘容器集群管理的几种架构-2-HashiCorp 解决方案 Nomad 大规模 IoT 边缘容器集群管理的几种架构-3-Portai ......