526互联

向量搜索技术：基于Elasticsearch/PostgreSQL/Redis扩展的向量搜索数据库或独立向量搜索引擎方案参考

发布时间 2023-09-02 22:04:24作者: lightdb

理论基础与研究

　　向量数据库用于非结构化文本、图片、音频、视频搜索、推荐，将他们转换为数字向量表示来进行相似性(ANN)搜索。存储和搜索高维向量是其特征之一，通常采用高级索引技术和算法如HNSW, Annoy, 或Faiss来实现。不同于SQL数据库，向量数据库更像nosql，用户接受使用sdk/API来执行搜索（虽然这个声明式不如SQL强大）。

　　向量数据库使用的底层搜索、索引技术和推荐系统中的向量召回是高度重合的。

向量数据库内核面临的技术挑战及应对措施

百亿级向量检索的向量数据库是如何构建的？

深入理解搜索引擎-搜索召回

推荐系统之召回

「向量召回」相似检索算法——HNSW（pg_embedding使用的就是HNSW算法）

使用向量召回的一些经验

深入浅出推荐系统（四）：召回：向量化的潮流（重点讲embedding）

向量检索：提升召回场景下的信息检索精度

推荐策略产品经理必读系列—第五讲推荐系统的向量召回

【推荐系统】向量召回算法 HNSW

搜索召回 | Facebook: 亿级向量相似度检索库Faiss原理+应用

Faiss向量召回引擎如何做到快速查找最近邻

向量检索速度慢？看看这个Faiss索引实操

向量数据库排名

https://byby.dev/vector-databases

https://github.com/topics/vector-database

https://press.ai/best-vector-databases/#

综合github/国外排名/国内分析来看，开源中基于es，faiss，milvus的方案比较有较大竞争力。

基于ElasticSearch的方案参考

使用向量检索插件（aliyun-knn）

向量数据库：使用Elasticsearch实现向量数据存储与搜索

高维向量搜索：在 Elasticsearch 8.X 中利用 dense_vector 的实战探索

基于postgresql的方案参考

https://github.com/pgvector/pgvector
https://neon.tech/blog/pg-embedding-extension-for-vector-search（采用HNSW算法）
https://access.crunchydata.com/documentation/pgvector/latest/pdf/pgvector.pdf

AI大模型与向量数据库 PGVECTOR

比 pgvector 快 20 倍的 Postgres 向量运算插件：pg_embedding

PASE: PostgreSQL Ultra-High-Dimensional Approximate Nearest Neighbor Search Extension

基于redis的参考方案

将Redis向量相似性搜索应用于文档搜索和检索的用例】'Redis arXiv Search - Vector search demo with the arXiv paper dataset, HuggingFace, OpenAI, FastAPI, React, and Redis as the vector database.' Redis Ventures GitHub: github.com/RedisVentures/redis-arXiv-search 
Redis arXiv Search
Redis 7.2 里程碑版本发布，向量搜索速度提高 16 倍
利用Redis实现向量相似度搜索：解决文本、图像和音频之间的相似度匹配问题
 

milvus方案

是什么推动了Milvus向量数据库中的相似性搜索

召回技术(向量检索工具faiss篇) milvus基于faiss库

Milvus 系统设计理念的再次思考

Introduction to Milvus

Milvus探究与压测分析