52
63
如何将文本转换为向量？(方法二)
2025-08-05 11:45:41
0点赞
0收藏
0评论
文本转换为向量有多种方式：
方法一：通过模型服务灵积DashScope将文本转换为向量（推荐）
方法二：通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量
方法三：通过Jina Embeddings v2模型将文本转换为向量
本文介绍方法二：如何通过ModelScope魔搭社区中的文本向量开源模型将文本转换为向量，并入库至向量检索服务DashVector中进行向量检索。
ModelScope魔搭社区旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单。
ModelScope魔搭社区的愿景是汇集行业领先的预训练模型，减少开发者的重复研发成本，提供更加绿色环保、开源开放的AI开发环境和模型服务，助力绿色“数字经济”事业的建设。 ModelScope魔搭社区将以开源的方式提供多类优质模型，开发者可在平台上免费体验与下载使用。
在ModelScope魔搭社区，您可以：
免费使用平台提供的预训练模型，支持免费下载运行
一行命令实现模型预测，简单快速验证模型效果
用自己的数据对模型进行调优，定制自己的个性化模型
学习系统性的知识，结合实训，有效提升模型研发能力
分享和贡献你的想法、评论与模型，让更多人认识你，在社区中成长
前提条件
DashVector：
已创建Cluster：创建Cluster
已获得API-KEY：API-KEY管理
已安装最新版SDK：安装DashVector SDK
ModelScope：
已安装最新版SDK：
pip install -U modelscope
CoROM文本向量
说明
关于CoROM文本向量模型更多信息请参考：CoROM文本向量
使用示例
说明
需要进行如下替换代码才能正常运行：
DashVector api-key替换示例中的{your-dashvector-api-key}
DashVector Cluster Endpoint替换示例中的{your-dashvector-cluster-endpoint}
使用上表中模型ID替换示例中的{model_id}
需注意，若所使用的模型若为tiny模型，则向量维度为256
Python示例：
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
from dashvector import Client
pipeline_se = pipeline(Tasks.sentence_embedding, model='{model_id}')
def generate_embeddings(texts: List[str]):
inputs = {'source_sentence': texts}
result = pipeline_se(input=inputs)
return result['text_embedding']
########### 以下为通用示例：向量入库DashVector和向量检索代码参考###########
# 创建DashVector Client
client = Client(
api_key='{your-dashvector-api-key}',
endpoint='{your-dashvector-cluster-endpoint}'
)
# 创建DashVector Collection
# 注意：需根据模型对应向量维度调整dimension参数
rsp = client.create('CoROM-text-embedding', dimension=768)
assert rsp
collection = client.get('CoROM-text-embedding')
assert collection
# 向量入库DashVector
collection.insert(
('ID1', generate_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0])
)
# 向量检索
docs = collection.query(
generate_embeddings(['The best vector database'])[0]
)
print(docs)
GTE文本向量
简介
说明
关于GTE文本向量模型更多信息请参考：GTE文本向量
使用示例
本模型使用示例同CoROM文本向量-使用示例，进行相应模型ID和向量维度替换即可运行。
Udever 多语言通用文本表示模型
简介
说明
关于Udever 多语言通用文本表示模型更多信息请参考：Udever 多语言通用文本表示模型
使用示例
本模型使用示例同CoROM文本向量-使用示例，进行相应模型ID和向量维度替换即可运行。
StructBERT FAQ问答
简介
说明
关于StructBERT FAQ问答模型更多信息请参考：StructBERT FAQ问答
使用示例
说明
需要进行如下替换代码才能正常运行：
使用上表中模型ID替换示例中的{model_id}
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
from typing import List
pipeline = pipeline(Tasks.faq_question_answering, model='{model_id}')
def generate_embeddings(texts: List[str], max_len=30):
return pipeline.get_sentence_embedding(texts)
说明
本示例中，向量入库DashVector和向量检索代码，参考CoROM文本向量-使用示例中的通用示例部分
