先说缺点 😅:
- 慢:服务部署在美东,500ms+ 毫秒的检索;
- 建立索引依然很慢,每条记录 500ms+ 的插入;
- 插入索引不支持并发;
- 索引大小被限制在 4MB ,大约 500 条记录;
- 无法删除单条记录;
优点:
- 目前免费:整个套解决方案最贵的应该是 OpenAI Embeddings 的费用;
- 查询的可伸缩性能应该还可以;
适用场景:
- ChatWithPDF/PPT 之类的应用,单篇文章检索;
- 候选条目在 500 或者以下的推荐,具体 DEMO 可以查看项目首页: https://closevector.getmegaportal.com/
使用方法:
https://closevector-docs.getmegaportal.com/docs/tutorial
规划:
- 建立索引本地化,加快索引速度;
- 想办法讲索引大小的限制提升至 100MB 级别;
题外话:
最近经济形势确实不佳,外部机会有限,只能忍受 996 的工作环境。虽然想在 LLMs 这个浪潮中做些小项目,但是时间不允许。共勉。