526互联

实战项目-美多商城(五)全文检索

发布时间 2023-04-06 14:18:36作者: 清安宁

商品搜索需求

  • 当用户在搜索框输入商品关键字后，我们要为用户提供相关的商品搜索结果

  • 实现

    • 可以选择使用模糊查询like关键字实现(效率极低,多字段查询不方便)

  • 全文检索方案

    • 引入全文检索的方案来实现商品搜索
    • 全文检索即在指定的任意字段中进行检索查询
    • 全文检索方案需要配合搜索引擎来实现

  • 搜索引擎原理

    • 搜索引擎进行全文检索时，会对数据库中的数据进行一遍预处理，单独建立起一份索引结构数据
    • 索引结构数据类似"新华字典"的索引检索页，里面包含了关键词与词条的对应关系，并记录词条的位置
    • 搜索引擎进行全文检索时，将关键字在索引数据中进行快速对比查找，进而找到数据的真实存储位置

Elasticsearch 介绍

  • 实现全文检索的搜索引擎，首选的是 Elasticsearch

    • Elasticsearch 是用 Java 实现的，开源的搜索引擎
    • 它可以快速地储存、搜索和分析海量数据.维基百科、StackOverflow、Github 等都采用它
    • Elasticsearch 的底层是开源库 Lucene.但是，没法直接使用 Lucene，必须自己写代码去调用它的接口

  • 分词说明

- 搜索引擎在对数据构建索引时，需要进行分词处理
- 分词是指将一句话拆解成多个单字 或 词，这些字或词便是这句话的关键词
  比如：我是中国人
  分词后：我、是、中、国、人、中国等等都可以是这句话的关键字
- Elasticsearch 不支持对中文进行分词建立索引(老外写的)，需要配合扩展elasticsearch-analysis-ik(国内大神)来实现中文分词处理

  • 配置(服务端&客户端)

    • 服务端部署在linux(docker)

    • django使用客户端

使用 Docker 安装 Elasticsearch

  • 获取Elasticsearch-ik镜像
# 从仓库拉取镜像
$ sudo docker image pull delron/elasticsearch-ik:2.4.6-1.0
  • 配置 Elasticsearch-ik
- 将教学资料中的elasticsearc-2.4.6目录拷贝到home目录下,并解压到当前目录

- 修改/home/anning/elasticsearc-2.4.6/config/elasticsearch.yml第54行
  即更改 ip 地址为本机真实 ip 地址

- 使用docker运行Elasticsearch
  # --name 取名为 "elasticsearch"
  sudo docker run -dti --name=elasticsearch --network=host -v /home/anning/elasticsearch-2.4.6/config:/usr/share/elasticsearch/config delron/elasticsearch-ik:2.4.6-1.0
  # 下次启动可以这么写(简单方便)
  docker container start elasticsearch

- 检查docker服务是否跑起来

  sudo docker container ls

如何对接 Elasticsearch 服务端---Haystack

  • Haystack 介绍
- Haystack 是在 Django 中对接搜索引擎的框架，搭建了用户和搜索引擎之间的沟通桥梁
- 可以在 Django 中可以通过使用 Haystack 来调用 Elasticsearch 搜索引擎
- Haystack 可以在不修改代码的情况下使用不同的搜索后端（比如 Elasticsearch、Whoosh、Solr等等）
  • Haystack 安装和配置
$ pip install drf-haystack
$ pip install elasticsearch==2.4.1

### settings
INSTALLED_APPS = [
    ......
     # 全文检索
    'haystack', 
]
......
# Haystack
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://172.16.238.128:9200/', # Elasticsearch服务器ip地址，端口号固定为9200
        'INDEX_NAME': 'meiduo_mall', # Elasticsearch建立的索引库的名称
    },
}

# 当添加、修改、删除数据时，自动生成索引
# 该配置项保证了在 Django 运行起来后，有新的数据产生时，Haystack 仍然可以让 Elasticsearch 实时生成新数据的索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
  • Haystack 建立数据索引
- 通过创建索引类，来指明让搜索引擎对哪些字段建立索引，也就是可以通过哪些字段的关键字来检索数据
- 本项目中对 SKU 信息进行全文检索，所以在 goods 应用中新建 search_indexes.py 文件，用于存放索引类

### goods.search_indexes.py
from haystack import indexes

from .models import SKU


class SKUIndex(indexes.SearchIndex, indexes.Indexable):
    """SKU索引数据模型类"""
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        """返回建立索引的模型类"""
        return SKU

    def index_queryset(self, using=None):
        """返回要建立索引的数据查询集"""
        return self.get_model().objects.filter(is_launched=True)

- 在 SKUIndex 建立的字段，都可以借助 Haystack 由 Elasticsearch 搜索引擎查询
- text 段我们声明为 document=True，表名该字段是主要进行关键字查询的字段
- text字段的索引值可以由多个数据库模型类字段组成，具体由哪些模型类字段组成，我们用 use_template=True 表示后续通过模板来指明
  • 创建 text 字段索引值模板文件
- 在 templates 目录中创建 text 字段使用的模板文件
- 具体在 templates/search/indexes/goods/sku_text.txt 文件中定义

### templates.search.indexes.goods.sku_text.txt
{{ object.id }}
{{ object.name }}
{{ object.caption }}

- 模板文件说明：当将关键词通过text参数名传递时
  此模板指明 SKU 的id、name、caption作为text字段的索引值来进行关键字索引查询
  • 手动生成初始索引
$ python manage.py rebuild_index

WARNING: This will irreparably remove EVERYTHING from your search index in connection 'default'.
Your choices after this are to restore from backups or rebuild via the `rebuild_index` command.
Are you sure you wish to continue? [y/N] y
Removing all documents from your index because you said so.
All documents removed.
Indexing 16 商品SKU
GET /meiduo_mail/_mapping [status:404 request:0.058s] # 正常响应(这里搞不懂为什么是404状态码...)

'''
- 如果报错: urllib3.exceptions.ReadTimeoutError: HTTPConnectionPool(host='192.168.11.39', port=9200): Read timed out. (read timeout=10)

- 解决办法: 开启ubuntu的9200端口,并确保 elasticsearch docker 容器正常运行
'''
  • 创建序列化器
### goods.serializers

from rest_framework import serializers

from .models import SKU
from apps.users.serializers import SKUSerializer
from .search_indexes import SKUIndex # 导入

from drf_haystack.serializers import HaystackSerializer # 导入


class CategoriesListSerializer(serializers.ModelSerializer):
    ......


class SKUIndexSerializer(HaystackSerializer):
    """
    SKKU索引结果数据序列化器
    """
    object = SKUSerializer(read_only=True)

    class Meta:
        index_classes = [SKUIndex]
        fields = ("text", "object")

'''
- 下面的搜索视图(后面补充)使用SKUIndexSerializer序列化器用来检查前端传入的参数text，并且检索出数据后再使用这个序列化器返回给前端；

- SKUIndexSerializer序列化器中的object字段是用来向前端返回数据时序列化的字段。
    Haystack通过Elasticsearch检索出匹配关键词的搜索结果后，还会在数据库中取出完整的数据库模型类对象，放到搜索结果的object属性中，并将结果通过SKUIndexSerializer序列化器进行序列化
    
- 所以我们可以通过声明搜索结果的object字段以SKUSerializer序列化的形式进行处理，明确要返回的搜索结果中每个数据对象包含哪些字段。
  如, 通过上面两个序列化器,最终的返回结果形式如下:
  
  [
    {
        "text": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕蓝 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！\n11",
        "object": {
            "id": 11,
            "name": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕蓝 移动联通电信4G手机 双卡双待",
            "price": "3788.00",
            "default_image_url": "http://image.meiduo.site:8888/group1/M00/00/02/CtM3BVrRdG6AYdapAAcPaeOqMpA1594598",
            "comments": 2
        }
    },
    {
        "text": "华为 HUAWEI P10 Plus 6GB+128GB 玫瑰金 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！\n14",
        "object": {
            "id": 14,
            "name": "华为 HUAWEI P10 Plus 6GB+128GB 玫瑰金 移动联通电信4G手机 双卡双待",
            "price": "3788.00",
            "default_image_url": "http://image.meiduo.site:8888/group1/M00/00/02/CtM3BVrRdMSAaDUtAAVslh9vkK04466364",
            "comments": 1
        }
    }
]


'''
  • 创建视图
### goods.views
......
from .serializers import CategoriesListSerializer, SKUIndexSerializer
from drf_haystack.viewsets import HaystackViewSet

class SKUSerchViewSet(HaystackViewSet):
    """
    SKU搜索
    """
    index_models = [SKU]
    serializer_class = SKUIndexSerializer

'''
- 该视图会返回搜索结果的列表数据,所以如果可以为视图增加REST framework的分页功能
	### utils.pagination
    from rest_framework.pagination import PageNumberPagination

    class StandardResultsSetPagination(PageNumberPagination):
        page_size = 2
        page_size_query_param = 'page_size'
        max_page_size = 20
        
    ### goods.views
    class SKUSerchViewSet(HaystackViewSet):
    index_models = [SKU]
    serializer_class = SKUIndexSerializer
    pagination_class = StandardResultsSetPagination # 新增分页
    
- 在实现商品列表页面时已经定义了全局的分页配置,所以此搜索视图会使用全局的分页配置

- 返回结果举例

	{
    "count": 10,
    "next": "http://api.meiduo.site:8000/skus/search/?page=2&text=%E5%8D%8E",
    "previous": null,
    "results": [
        {
            "text": "华为 HUAWEI P10 Plus 6GB+64GB 钻雕金 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！\n9",
            "id": 9,
            "name": "华为 HUAWEI P10 Plus 6GB+64GB 钻雕金 移动联通电信4G手机 双卡双待",
            "price": "3388.00",
            "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRcUeAHp9pAARfIK95am88523545",
            "comments": 0
        },
        {
            "text": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕金 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！\n10",
            "id": 10,
            "name": "华为 HUAWEI P10 Plus 6GB+128GB 钻雕金 移动联通电信4G手机 双卡双待",
            "price": "3788.00",
            "default_image_url": "http://10.211.55.5:8888/group1/M00/00/02/CtM3BVrRchWAMc8rAARfIK95am88158618",
            "comments": 5
        }
    ]
}

'''
  • 定义路由
### goods/urls.py

.....
from rest_framework.routers import DefaultRouter

router = DefaultRouter()
router.register('skus/search', views.SKUSerchViewSet, basename="skus_search")
urlpatterns += router.urls
  • 测试: 使用GET方法访问如下链接进行测试:
- http://127.0.0.1:8000/skus/search/?text=wifi

- 返回结果:

HTTP 200 OK
Allow: GET, HEAD, OPTIONS
Content-Type: application/json
Vary: Accept

{
    "count": 8,
    "next": "http://127.0.0.1:8000/skus/search/?page=2&text=wifi",
    "previous": null,
    "results": [
        {
            "text": "13\n华为 HUAWEI P10 Plus 6GB+64GB 玫瑰金 移动联通电信4G手机 双卡双待\nwifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！",
            "object": {
                "id": 13,
                "name": "华为 HUAWEI P10 Plus 6GB+64GB 玫瑰金 移动联通电信4G手机 双卡双待",
                "price": "3388.00",
                "default_image_url": "http://192.168.11.39:8888/group1/M00/00/02/CtM3BVrRdLGARgBAAAVslh9vkK00474545",
                "comments": 0
            }
        },
        {
            "text": "16\n华为 HUAWEI P10 Plus 6GB+128GB 曜石黑 移动联通电信4G手机 双卡双待\n666 wifi双天线设计！徕卡人像摄影！P10徕卡双摄拍照，低至2988元！",
            "object": {
                "id": 16,
                "name": "华为 HUAWEI P10 Plus 6GB+128GB 曜石黑 移动联通电信4G手机 双卡双待",
                "price": "4100.00",
                "default_image_url": "http://192.168.11.39:8888/group1/M00/00/02/CtM3BVrRdPeAXNDMAAYJrpessGQ9777651",
                "comments": 0
            }
        }
    ]
}

- 下一页: http://127.0.0.1:8000/skus/search/?page=2&text=wifi