【主流技术】详解 Spring Boot 2.7.x 集成 ElasticSearch7.x 全过程（二）-526互联

前言
一、添加依赖
二、 yml 配置
三、注入依赖
四、CRUD 常用 API
五、文章小结

前言

ElasticSearch 简称 es，是一个开源的高扩展的分布式全文检索引擎，目前最新版本已经到了8.11.x了。

它可以近乎实时的存储、检索数据，且其扩展性很好，是企业级应用中较为常见的检索技术。

下面主要记录学习 ElasticSearch7.x 的一些基本结构、在Spring Boot 项目里基本应用的过程，在这里与大家作分享交流。

一、添加依赖

这里引用的依赖是 starter-data-elasticsearch，版本应与 Spring Boot（我是2.7.2）的版本一致，并不是 Elasticsearch 的版本。

<!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-elasticsearch -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    <version>2.7.2</version>
</dependency>

二、 yml 配置

spring:
  elasticsearch:
    uris: http://远程主机的公网IP:9200
    username: 自己的用户名
    password: 自己的密码

使用 Docker 安装的 Elasticsearch 设置账号/密码教程：https://blog.csdn.net/qq_38669698/article/details/130529829

因为 ES 设置了密码，所以 Kibana 的配置也需要修改：https://blog.csdn.net/weixin_45956631/article/details/130636880

三、注入依赖

（推荐）ElasticsearchRestTemplate 类来源于 org.springframework.data.elasticsearch.core 包，封装了 Elasticsearch 的 RESTful API，使用起来很便捷。
```
//直接引入即可，无需额外的 Bean 配置和序列化配置
@Resource
private ElasticsearchRestTemplate elasticTemplate;
```
（推荐）ElasticsearchRepository 接口来源于 org.springframework.data.elasticsearch.repository 包，该接口用于简化对 Elasticsearch 中数据的操作。
```
public interface ArticleRepository extends ElasticsearchRepository<ESArticle, String>{}
```
注：ESArticle 为实体类，String 表示唯一 Id 的数据类型。
（不推荐）在 Elasticsearch 7.15版本之后，官方已将它的高级客户端 RestHighLevelClient 标记为弃用状态，之后的版本会推荐新的 RestClient。

经过笔者对比实践，无论是新/旧客户端，在 Spring Boot 项目中都没有上面前两个使用起来便捷。但值得注意的是，很多企业以前的项目都会使用旧的 RestHighLevelClient 来写业务。
```
@Resource
private RestHighLevelClient highLevelClient;

@Resource
private RestClient restClient;
```

四、CRUD 常用 API

ES 实体类

和 MySQL、MongoDB 在 Spring 中的实体类一样，需要将字段和类属性进行映射，同样还可以使用注解进行简单配置。

以下是文章 ESArticle 的实体类，属性包含标题、内容、标签、点赞数/收藏数等：

@Data
@Document(indexName = "article")
@EqualsAndHashCode(callSuper = true)
public class ESArticle extends BaseEntity implements Serializable {
    
    private static final String DATE_TIME_PATTERN = "yyyy-MM-dd HH:mm:ss";

    /**
     * 唯一标识 id
     */
    @Id
    @Field(type = FieldType.Text)
    private String id;

    /**
     * 标题，字段类型为 Text，没有 String 类型；分词类型为 ik 分词器的最细颗粒度划分法。
     */
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String title;

    /**
     * 内容
     */
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String content;

    /**
     * 标签列表
     */
    private List<String> tags;

    /**
     * 点赞数
     */
    private Integer thumbNum;

    /**
     * 收藏数
     */
    private Integer favourNum;

    /**
     * 创建用户 id
     */
    @Field(type = FieldType.Text)
    private String userId;

    /**
     * 创建时间，单独存储，字段类型为 Date ，自定义格式
     */
    @Field(store = true, type = FieldType.Date, format = {}, pattern = DATE_TIME_PATTERN)
    private Date createTime;

    /**
     * 更新时间，单独存储，字段类型为 Date ，自定义格式
     */
    @Field(store = true, type = FieldType.Date, format = {}, pattern = DATE_TIME_PATTERN)
    private Date updateTime;

    /**
     * 是否删除
     */
    private Integer isDelete;
}

documents 操作

documents 的概念和 MySQL 中的行类似，指的是一条条的记录，但是 ES 里所有的数据都是 JSON 格式的，所以看起来就像是一个个文档了。

以下简单的 CRUD 都由 ArticleRepository 来完成，下一小节复杂的查询交给 ElasticsearchRestTemplate 来完成。

新增（批量）

    @Resource
    private ArticleMapper articleMapper;

    @Resource
    private ArticleRepository articleRepository;

    //todo: ES里的数据来源于数据库，需要做迁移，业务数据不会直接写进数据库
    //todo: 有全量和增量两种方式做数据迁移，或者引入第三方框架处理
    //todo: 此处暂不做数据迁移展示，就直接往 ES 里写，然后就当 ES 里已经有数据了，再做 CRUD 以及查询
    @Override
    public Boolean addDocuments(){
        LambdaQueryWrapper<Article> wrapper = new LambdaQueryWrapper<>();
        List<Article> articleList = articleMapper.selectList(wrapper);
        if (CollectionUtils.isNotEmpty(articleList)){
            // 这里是两个实体的属性转换，这里不过多展开讲
            List<ESArticle> esArticleList = articleList.stream().map(ESArticle::dbToEs).collect(Collectors.toList());
            articleRepository.saveAll(esArticleList);
            return Boolean.TRUE;
        }
        return Boolean.FALSE;
    }

修改（更新）

    //todo: 还可以使用 elasticTemplate 的 update() 来进行更新，不过一般没有单独针对 es 的数据更新需求    
    @Override
    public Boolean updateDocuments(){
        ESArticle esArticle = articleRepository.findById("18094375634670546").orElse(null);
        if (Objects.nonNull(esArticle)){
            esArticle.setTitle("测试修改标题更新操作");
            articleRepository.save(esArticle);
            return Boolean.TRUE;
        }
        return Boolean.FALSE;
    }

获取

    @Override
    public List<ESArticle> getESDocuments(){
        List<ESArticle> list = Lists.newArrayList();
        Iterable<ESArticle> esArticleList = this.articleRepository.findAll(Sort.by(Sort.Order.desc("id")));
        esArticleList.forEach(list::add);
        return list;
    }

删除

    @Override
    public Boolean deleteESDocuments(){
        //如果存在该条 document 则继续删除
        if (this.articleRepository.existsById("18094375634670546")){
            this.articleRepository.deleteById("18094375634670546");
            return Boolean.TRUE;
        }
        return Boolean.FALSE;
    }

常见条件查询（重点）

以下会详细地演示一下 BoolQueryBuilder 条件构造、常见 QueryBuilders 的方法等多条件复杂查询场景：

    //todo: 企业项目中真正的复杂条件查询
    @Override
    public PageInfo<ESArticle> testSearchFromES(ArticleSearchDTO articleSearchDTO){
        //完整的合法 id
        String id = articleSearchDTO.getId();
        //非法 id
        String notId = articleSearchDTO.getNotId();
        //搜索框输入的内容（实际会从标签/内容/标题中查找）
        String searchText = articleSearchDTO.getSearchWord();
        //单独在标题中查找
        String title = articleSearchDTO.getTitle();
        //单独在内容中查找
        String content = articleSearchDTO.getContent();
        //单独在标签中查找(全部标签)
        List<String> tagList = articleSearchDTO.getTags();
        //任意标签
        List<String> orTagList = articleSearchDTO.getOrTags();
        //按照创建者的 userId 查找
        String userId = articleSearchDTO.getUserId();
        // 布尔查询初始化
        BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery();
        // 过滤，首先被删除的就不要了
        boolQueryBuilder.filter(QueryBuilders.termQuery(this.fn.fnToFieldName(ESArticle::getIsDelete), NumberUtils.INTEGER_ZERO));
        //如果输入的是 id 那么就不对 id 分词，然后过滤掉不符合该 id 的其它文档
        if (StringUtils.isNotBlank(id)) {
            boolQueryBuilder.filter(QueryBuilders.termQuery("id", id));
        }
        //如果输入的是非法 id 那么什么也查不到，取反（也就是所有）返回
        if (StringUtils.isNotBlank(notId)) {
            boolQueryBuilder.mustNot(QueryBuilders.termQuery("id", notId));
        }
        //创建者 userId 也不分词，过滤掉不匹配的
        if (StringUtils.isNotBlank(userId)) {
            boolQueryBuilder.filter(QueryBuilders.termQuery("createId", userId));
        }
        // 必须包含所有标签
        if (CollectionUtils.isNotEmpty(tagList)) {
            for (String tag : tagList) {
                boolQueryBuilder.filter(QueryBuilders.termQuery("tags", tag));
            }
        }
        // 包含任何一个标签即可
        if (CollectionUtils.isNotEmpty(orTagList)) {
            BoolQueryBuilder orTagBoolQueryBuilder = QueryBuilders.boolQuery();
            // DB 实体中 tag 字段为 String，而 ES 实体该字段的类型为 List，所以做循环遍历
            for (String tag : orTagList) {
                orTagBoolQueryBuilder.should(QueryBuilders.termQuery("tags", tag)).minimumShouldMatch(1);
            }
            //filter 可以结合 bool 做更复杂的过滤
            boolQueryBuilder.filter(orTagBoolQueryBuilder);
        }
        // 按关键词检索（主要的搜索框，关键词会在两个字段里匹配）
        if (StringUtils.isNotBlank(searchText)) {
            boolQueryBuilder.should(QueryBuilders.matchQuery("title", searchText));
            boolQueryBuilder.should(QueryBuilders.matchQuery("content", searchText));
            boolQueryBuilder.minimumShouldMatch(1);
        }
        // 单独按标题检索
        if (StringUtils.isNotBlank(title)) {
            boolQueryBuilder.should(QueryBuilders.matchQuery("title", title));
        }
        // 单独按内容检索
        if (StringUtils.isNotBlank(content)) {
            boolQueryBuilder.should(QueryBuilders.matchQuery("content", content));
        }
    }

分页查询

Spring Data 自带的分页方案，即 PageRequest 对象：

        // 分页参数：起始页为 0
        long current = articleSearchDTO.getCurrent() - 1;
        long pageSize = articleSearchDTO.getPageSize();
        PageRequest pageRequest = PageRequest.of((int) current, (int) pageSize);

排序

设置了按条件排序则以排序字段为准来返回，没设置排序则默认按照分数，即匹配度返回：

        // 排序字段，可以支持多个
        String sortField = articleSearchDTO.getSortField();
        SortBuilder<?> sortBuilder = SortBuilders.scoreSort();
        if (StringUtils.isNotBlank(sortField)) {
            sortBuilder = SortBuilders.fieldSort(sortField).order(SortOrder.DESC);
        }

构造查询

将所有的条件放进 NativeSearchQueryBuilder 对象，并调用elasticTemplate.search()方法，最后放入PageInfo（这里引入的是com.github.pagehelper）对象返回：

        // 构造查询
        NativeSearchQuery searchQuery = new NativeSearchQueryBuilder()
                .withQuery(boolQueryBuilder)
                .withSorts(sortBuilder)
                .withPageable(pageRequest).build();
        // 获取查询对象的结果：放入所有条件，指定索引实体
        SearchHits<ESArticle> searchHits = elasticTemplate.search(searchQuery, ESArticle.class);
        //todo: 先以 ES 的数据为准，后期数据迁移再考虑使用 MySQL 的数据源
        //初始化 page 对象
        PageInfo<ESArticle> pageInfo = new PageInfo<>();
        pageInfo.setList(searchHits.getSearchHits().stream().map(SearchHit::getContent).collect(Collectors.toList()));
        pageInfo.setTotal(searchHits.getTotalHits());
        System.out.println(pageInfo);
        return pageInfo;

测试调用

    @Test
    public void testSearchFromES(){
        ArticleSearchDTO articleSearchDTO = new ArticleSearchDTO();
        articleSearchDTO.setId("18094375634670546");
        //articleSearchDTO.setSearchWord("是");
        //articleSearchDTO.setTitle("标题");
        //articleSearchDTO.setTags(Collections.singletonList("es"));
        //articleSearchDTO.setSortField("createTime");
        esTestService.testSearchFromES(articleSearchDTO);
    }

测试数据如下图所示：