elasticsearch7 elasticsearch全过程 主流
Java Spring Boot 集成 elasticsearch6.8.x
在全文搜索领域，毫无疑问，当下 elasticsearch 应用广泛，其优势自不必说，凭借全文快速搜索，可以在短时内实现大数据量的查询。 今天学习下在 Spring Boot 中 集成 elasticsearch 开发，这里主要展示可以怎么用，至于开发人员向通过 ElasticsearchORM 封 ......
将excel数据导入到SQL server数据库的详细过程
原文链接：https://www.xjx100.cn/news/415146.html?action=onClick 1.将要导入的excel表格数据如下，第一行数据默认为数据库表中的字段，所以这个必须要有，否则无法映射导入。如下图（只截部分数据） 2.打开Microsoft SQL Server ......
基于Docker安装Elasticsearch + Kibana
基于Docker安装Elasticsearch + Kibana 前提是先安装好Docker的环境 Docker创建网络 Docker创建一个网络专门连接Elasticsearch和Kibana docker network create es-net Docker安装Elasticsearch 拉 ......
一次异常OOM问题学习跟踪的过程
摘要 春节后第一周一个项目出现了OOM的问题. 平台研发和产品研发跟踪了接近一周的时间也没有最终确认问题根因. 这里总结一下整个过程, 希望以后在遇到相同问题时会有进一步的结论. 产品的稳定运行离不开所有人的努力. 不管是框架,产品平台还是其他. 现象和暂时的结论 产品需要在月初处理一个月度数据. ......
学习过程遇到的问题
问题一：打开jupyter notebook，运行代码，不显示结果，直接跳到了下一行，[]里面什么都不显示 类似这样的，当时忘记了截图，在网上找了相似的问题，借用了一下图片。 经过一番寻找，最终找到了解决的方案。 原因 pyzmq版本太高的原因，与Jupyter Notebook不兼容 解决方案 1 ......
在灾难推文分析场景上比较用 LoRA 微调 Roberta、Llama 2 和 Mistral 的过程及表现
引言 自然语言处理 (NLP) 领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较 3 个模型: RoBERTa、Mistral-7B 及 Llama-2-7B。我们用它们来解决一个常见问题 —— 对灾难相关 ......
软件用的过程中出现闪退、死机
问题出现了两天了，终于解决了。记录下。 现象是登录正常，用起来也正常（说明软件跑起来没问题），中间不确定什么时候会闪退，死机。 因为不确定时间，所以有点难判断。电脑8g的内存，一般都没问题。 解决：软件的路径不是正常安装的默认路径，安装应该有问题，卸载重装就可以了。 以下为网络搜集方法： 原文链接: ......
远程过程调用：门和Sun RPC
一、门 门提供了调用同一台主机上的另外一个进程中某个过程的能力。门是一种特殊类型的IPC，因为客户端和服务器之间以函数参数和返回值形式交换信息。 示意图： 本想验证书中源码，发现头文件：#include <door.h> 都没有，互联网上查了很久，也没有相关的信息。暂且作罢。。。 二、Sun RPC ......
MongoDB、Elasticsearch、Redis、HBase应用场景分析
1. MongoDB 一个基于分布式文件存储的数据库系统，由C++编写，旨在为Web应用提供高速、可扩展、高性能的数据存储解决方案。MongoDB采用了文档型数据库模型，即数据以文档的形式存储，而文档是由键值对组成的。MongoDB的名称来自Hadoop创始人Doug Cutting的宠物狗Mong ......
简介PAM的认证过程及各PAM文件的作用
MySQL用户运行MySQL服务时最大能打开的文件数，是由limits.conf文件和pam_limits.so模块共同决定的。pam_limits.so模块是一个PAM（插入式认证模块）的组件，它可以在用户登录时设置一些资源限制，例如打开文件数、内存使用量、进程数等。limits.conf文件是p ......
数据库系列：业内主流MySQL数据中间件梳理
数据库系列：MySQL慢查询分析和性能优化 数据库系列：MySQL索引优化总结（综合版） 数据库系列：高并发下的数据字段变更 数据库系列：覆盖索引和规避回表 数据库系列：数据库高可用及无损扩容 数据库系列：使用高区分度索引列提升性能 数据库系列：前缀索引和索引长度的取舍 数据库系列：MySQL引擎M ......
ElasticSearch 命令执行漏洞
漏洞编号：CVE-2014-3120 漏洞详情 CVE编号 CVE-2014-3120 漏洞级别 中危6.8 标题 Elasticsearch默认配置允许动态脚本执行漏洞 披露时间 2014/07/29 漏洞总结 Elasticsearch 1.2版本及之前的默认配置启用了动态脚本，攻击者可以通过_ ......
Postgresql中PL/pgSQL的游标、自定义函数、存储过程的使用
场景 Postgresql中PL/pgSQL代码块的语法与使用-声明与赋值、IF语句、CASE语句、循环语句： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/135090263 上面讲了基本语法，下面记录游标、自定义函数、存储过程 ......
MySQL 存储过程
8.1.3 mysql流程控制语句 mysql 流程控制语句和局部变量一样， 只能放在存储过程，存储函数和触发器中 1. 顺序语句 begin....end 语句块， 语句块中可以包含一组语句，语句可以嵌套 begin 语句块......; end; delimiter 命令 delimiter 结 ......
ElasticSearch Groovy 沙盒绕过 && 代码执行漏洞
漏洞编号：CVE-2015-1427 漏洞详情 CVE编号 CVE-2015-1427 漏洞级别 高危7.5 标题 Elasticsearch Groovy 脚本引擎存在远程代码执行漏洞 披露时间 2015/02/17 漏洞总结 Elasticsearch在版本1.3.8之前及版本1.4.x在1.4 ......
阿里云ECS自建K8S_IPV6重启后异常问题解决过程
阿里云ECS自建K8S_IPV6重启后异常问题解决过程 背景 最近安装了一个单节点的K8S_IPV6 昨天不知道何故 突然宕机了. 然后只能在阿里云的控制台后台重启了ECS 启动之后看K8S的状态一开始是正常的. 但是查看ing的时候,发现IP地址却变成了 IPV4的地址, 感觉比较奇怪. 这里整理 ......
浅谈 USB 枚举过程
浅谈 USB 枚举过程 一、概述 在我们的产品应用中，不管是鼠标、键盘、还是其他产品等等，有很多设备都离不开 USB 接口，我们不仅要清楚如何进行 USB 的硬件设计，也要懂得 USB 的具体协议规范，才能看懂对应的代码流程。那么下面我们就来了解下USB 的枚举流程。 二、USB 设备状态 USB ......
蜘点云原生之 KubeSphere 落地实践过程
作者：池晓东，蜘点商业网络服务有限公司技术总监，从事软件开发设计 10 多年，喜欢研究各类新技术，分享技术。 来源：本文由 11 月 25 日广州站 meetup 中讲师池晓东整理，整理于该活动中池老师所分享的同名议题内容。 公司平台介绍 蜘点成立于 2016 年 4 月，致力于打造社区电商业务（解 ......
elasticsearch 8.11 安装ik中文分词器
1.直接在线下载安装 首先进入到es bin目录 然后执行命令elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.11.1/elasticsearch ......
.NET MVC 短信验证码过程
原文链接：https://blog.csdn.net/weixin_44481764/article/details/97941984 1:创建一个项目用来调用第三方的类,右键Nuget添加第三方的引用类库 qcloudsms_csharp 2:把第三方的公共类放入到我们的项目里 using qcl ......
处理过程
gulfport处理数据的过程1.去掉测试集有噪音的特征。2.把测试集高光谱变为二维矩阵特征数乘以像素数。3.测试集数据进行归一化。4.导入训练集。5.去掉训练集的多余特征。6.找到训练集的背景信息。7.然后对归一化求均值。8.计算背景数据集的协方差。9.直接用ACE公式探测了。toydata处理数 ......
ElasticSearch中查询语句用法（match、match_phrase、multi_match、query_string）
1、match略 1.1 不同字段权重 如果需要为不同字段设置不同权重，可以考虑使用 bool 查询的 should 子句来组合多个 match 查询，并为每个 match 查询设置不同的权重。 { "query": { "bool": { "should": [ { "match": { "pro ......
记录elasticsearch 8.1.1 集成 kibana
1.官网下载kibana https://www.elastic.co/cn/downloads/elasticsearch 解压, 直接启动下面的 第一次会生成token 如果没有保存,可就有点麻烦了, 这里直接关闭es 的密码认证服务 然后切换到kibana 目录 直接启动 这样kibana 可 ......
分布式架构的演变过程
1. 单应用架构 此时用户量很少，所有功能全部都在一个应用中，应用和数据库部署在一台机器上。 2. 应用服务器和数据库服务器分离 随着系统访问量的再度增加，webserver机器的压力在高峰期会上升到比较高，这个时候开始考虑增加一台服务器，将数据库分离出去。 3. 应用服务器集群 突然有一天，发现系 ......
阅读笔记《掌握需求过程》2
这次我们从第三章开始看，项目启动有关的事项。这一章包含12小节，即icebreaker项目（就是本书中为了方便读者理解需求过程，始终贯穿的实例），产品目标——我们需要该产品的原因是什么，谁为它付钱：客户和顾客，用户——理解他们，风险承担者和顾问，需求限制条件，为您的宝宝命名，设定范围，该产品的成本是 ......
Elasticsearch 地理搜索聚合
数据类型 查询功能 聚合功能 geo_point geo_shape [geo shape]查询文档的geo-shape是否跟查询指定geo-shape相交、内嵌、不相交。 [geo bounding box] 查询文档的point是否在指定的矩形范围内。 [geo distance]:查询中心点指 ......
Oceanbase开源版 数据库恢复MySQL数据库的过程
Oceanbase开源版 数据库恢复MySQL数据库的过程 背景 想进行一下Oceanbase数据库的兼容性验证. 想着用app create 数据库的方式周期比较长. 所以我想着换一套 备份恢复的方式进行数据库的创建直接进行兼容性验证. 这里面就需要进行一下数据库的备份恢复了. 所以想总结一下. ......
elasticsearch学习1
springData集成的各种数据框架版本和具体spring使用的各数据项目的版本不是同一个概念，默认都是各个框架的最新版 各版本框架 Out of maintenance 停止维护 一直没搞清楚springboot中的依赖版本和真正在电脑上下载的服务器上的数据库集群版本有什么区别，区别就是一个是j ......
elasticsearch数据迁移工具elasticdump安装
1、安装node #下载安装包 wget https://nodejs.org/dist/v16.14.0/node-v16.14.0-linux-x64.tar.xztar axf node-v16.14.0-linux-x64.tar.xz -C /usr/local/mv /usr/local ......
Raid卡型号的简单辨认与问题发现过程
Raid卡型号的简单辨认与问题发现过程 背景 同事给了一个awr报告. !-_-! 其实我看不懂. 但是他告诉我 有大量的log file sync 的等待事件. 然后又给了一套其他的文件, 发现logfile 的sync 时间都是秒级. 很多时候都到了 六七秒 我感觉出现了非常严重的性能问题. 怀 ......