svjack/Sbert-ChineseExample: Sentence-Transformers Information Retrieval example on Chinese · GitHub

Sentence-Transformers 中文信息检索例子

In English

• 有关这个工程
• 构建信息
• 开始
• 安装
• 使用
• 引导
• 贡献
• License
• Contact
• Acknowledgements

Sentence Transformers是一个多语言、多模态句子向量生成框架，可以根据Huggingface Transformers框架简单地生成句子及文本段落的分布式向量表征。

这个工程的目的是通过训练bi_encoder和cross_encoder实现类似于ms_macro任务的中文数据集信息检索，并搭配定制化的pandas形式的elasticsearch接口使得结果产出（文本、向量）可以方便地序列化。

• Sentence Transformers
• Elasticsearch
• Faiss

• pip

pip install -r requirements.txt

• 安装Elasticsearch并启动服务
• install Elasticsearch and start service

1. 从 google drive 下载数据集

2. bi_encoder 数据准备

3. 训练 bi_encoder

4. cross_encoder 训练数据准备

5. cross_encoder 检测数据准备

6. 训练 cross_encoder

7. 展示 bi_encoder cross_encoder 的推断过程

Distributed under the MIT License. See LICENSE for more information.

svjack - svjackbt@gmail.com ehangzhou@outlook.com

Project Link: https://github.com/svjack/Sbert-ChineseExample

• Sentence Transformers
• Elasticsearch
• Faiss
• Transformer Rankers
• es_pandas