Python利用Faiss库实现ANN近邻搜索的方法详解
Embedding的近邻搜索是当前图推荐系统非常重要的一种召回方式,通过item2vec、矩阵分解、双塔DNN等方式都能够产出训练好的user embedding、item embedding,对于embedding的使用非常的灵活:
- 输入user embedding,近邻搜索item embedding,可以给user推荐感兴趣的items
- 输入user embedding,近邻搜搜user embedding,可以给user推荐感兴趣的user
- 输入item embedding,近邻搜索item embedding,可以给item推荐相关的items
然而有一个工程问题,一旦user embedding、item embedding数据量达到一定的程度,对他们的近邻搜索将会变得非常慢,如果离线阶段提前搜索好在高速缓存比如redis存储好结果当然没问题,但是这种方式很不实时,如果能在线阶段上线几十MS的搜索当然效果最好。
Faiss是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前最为成熟的近似近邻搜索库。
接下来通过jupyter notebook的代码,给大家演示下使用faiss的简单流程,内容包括:
- 读取训练好的Embedding数据
- 构建faiss索引,将待搜索的Embedding添加进去
- 取得目标Embedding,实现搜索得到ID列表
- 根据ID获取电影标题,返回结果
对于已经训练好的Embedding怎样实现高速近邻搜索是一个工程问题,facebook的faiss库可以构建多种embedding索引实现目标embedding的高速近邻搜索,能够满足在线使用的需要
安装命令:
conda install -c pytorch faiss-cpu
提前总结下faiss使用经验:
1. 为了支持自己的ID,可以用faiss.IndexIDMap包裹faiss.IndexFlatL2即可
2. embedding数据都需要转换成np.float32,包括索引中的embedding以及待搜索的embedding
3. ids需要转换成int64类型
1. 准备数据
import pandas as pd import numpy as np
df = pd.read_csv("./datas/movielens_sparkals_item_embedding.csv") df.head()
id | features | |
---|---|---|
0 | 10 | [0.25866490602493286, 0.3560594320297241, 0.15… |
1 | 20 | [0.12449632585048676, -0.29282501339912415, -0… |
2 | 30 | [0.9557555317878723, 0.6764761805534363, 0.114… |
3 | 40 | [0.3184879720211029, 0.6365472078323364, 0.596… |
4 | 50 | [0.45523127913475037, 0.34402626752853394, -0…. |
构建ids
ids = df["id"].values.astype(np.int64) type(ids), ids.shape (numpy.ndarray, (3706,)) ids.dtype dtype('int64') ids_size = ids.shape[0] ids_size 3706
构建datas
import json import numpy as np datas = [] for x in df["features"]: datas.append(json.loads(x)) datas = np.array(datas).astype(np.float32) datas.dtype dtype('float32') datas.shape (3706, 10) datas[0] array([ 0.2586649 , 0.35605943, 0.15589039, -0.7067125 , -0.07414215, -0.62500805, -0.0573845 , 0.4533663 , 0.26074877, -0.60799956], dtype=float32) # 维度 dimension = datas.shape[1] dimension 10
2. 建立索引
import faiss index = faiss.IndexFlatL2(dimension) index2 = faiss.IndexIDMap(index) ids.dtype dtype('int64') index2.add_with_ids(datas, ids) index.ntotal 3706
4. 搜索近邻ID列表
df_user = pd.read_csv("./datas/movielens_sparkals_user_embedding.csv") df_user.head() id features
id | features | |
---|---|---|
0 | 10 | [0.5974288582801819, 0.17486965656280518, 0.04… |
1 | 20 | [1.3099910020828247, 0.5037978291511536, 0.260… |
2 | 30 | [-1.1886241436004639, -0.13511677086353302, 0…. |
3 | 40 | [1.0809299945831299, 1.0048035383224487, 0.986… |
4 | 50 | [0.42388680577278137, 0.5294889807701111, -0.6… |
user_embedding = np.array(json.loads(df_user[df_user["id"] == 10]["features"].iloc[0])) user_embedding = np.expand_dims(user_embedding, axis=0).astype(np.float32) user_embedding array([[ 0.59742886, 0.17486966, 0.04345559, -1.3193961 , 0.5313592 , -0.6052168 , -0.19088413, 1.5307966 , 0.09310367, -2.7573566 ]], dtype=float32) user_embedding.shape (1, 10) user_embedding.dtype dtype('float32') topk = 30 D, I = index.search(user_embedding, topk) # actual search I.shape (1, 30) I array([[3380, 2900, 1953, 121, 3285, 999, 617, 747, 2351, 601, 2347, 42, 2383, 538, 1774, 980, 2165, 3049, 2664, 367, 3289, 2866, 2452, 547, 1072, 2055, 3660, 3343, 3390, 3590]])
5. 根据电影ID取出电影信息
target_ids = pd.Series(I[0], name="MovieID") target_ids.head() 0 3380 1 2900 2 1953 3 121 4 3285 Name: MovieID, dtype: int64 df_movie = pd.read_csv("./datas/ml-1m/movies.dat", sep="::", header=None, engine="python", names = "MovieID::Title::Genres".split("::")) df_movie.head()
MovieID | Title | Genres | |
---|---|---|---|
0 | 1 | Toy Story (1995) | Animation|Children's|Comedy |
1 | 2 | Jumanji (1995) | Adventure|Children's|Fantasy |
2 | 3 | Grumpier Old Men (1995) | Comedy|Romance |
3 | 4 | Waiting to Exhale (1995) | Comedy|Drama |
4 | 5 | Father of the Bride Part II (1995) | Comedy |
df_result = pd.merge(target_ids, df_movie) df_result.head()
MovieID | Title | Genres | |
---|---|---|---|
0 | 3380 | Railroaded! (1947) | Film-Noir |
1 | 2900 | Monkey Shines (1988) | Horror|Sci-Fi |
2 | 1953 | French Connection, The (1971) | Action|Crime|Drama|Thriller |
3 | 121 | Boys of St. Vincent, The (1993) | Drama |
4 | 3285 | Beach, The (2000) | Adventure|Drama |
总结
到此这篇关于Python利用Faiss库实现ANN近邻搜索的文章就介绍到这了,更多相关Python用Faiss库ANN近邻搜索内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-25
- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-08
- 这篇文章主要介绍了Python绘制的爱心树与表白代码,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-04-06