什么值得买App下载 App ›
连续签到专享现金活动

【试读】企业级项目二:基于Doris+LangChain构建数据智能运营AI助手

随着大数据面试风向的转变,AI相关项目已成为企业关注的重点能力。针对当前数据仓库体系中表数量庞大(数千级)、字段指标繁多(数万计)导致业务方找数难、数据开发答疑耗时(约占20%人力)的痛点,本项目构建了一套企业级数据智能运营助手。该系统利用大语言模型(LLM)重构数据查询方式,旨在通过智能化手段解决找数难、问数繁、答数重的问题,提升数据服务效率与用户体验。
01项目技术栈与核心概念
本项目主要采用Doris作为向量存储与检索引擎,结合LangChain框架进行LLM应用开发,利用Prompt工程优化模型输出,并使用Python Flask构建Web服务,MySQL存储业务数据。其核心依赖于RAG(Retrieval-Augmented Generation)技术,即检索增强生成。RAG的核心逻辑包括检索、增强和生成三个步骤:先从知识库中检索相关资料,将检索到的资料作为上下文提供给大模型,最后由模型生成准确的答案,从而有效避免模型凭空捏造信息。
02环境准备与依赖
  • Doris环境安装
    使用Docker安装并启动Doris服务,指定版本为4.0.3。常用操作包括启动集群(docker-compose up -d)和查看日志(docker-compose logs -f)。
  • Python依赖安装
    确保Python版本>=3.11,核心依赖包包括langchain_community、langchain_chroma、langchain_core、dashscope(通义千问SDK)、flask及mysql-connector-python。
  • API Key配置
    需获取大模型服务的API Key(如通义千问DashScope API Key),并配置在环境变量中以供模型调用。
03数据库架构设计
系统后端基于MySQL存储用户信息、对话历史及管理数据,同时利用Apache Doris构建向量数据库以支持高效的语义检索。Doris从4.x版本开始支持ANN(近似最近邻)索引,能够对高维向量数据进行快速相似性搜索。
表名用途关键字段
doris_vector_table存储文档向量与元数据document_name, content, embedding (向量)
user_conversations记录用户对话历史user_id, query, response, rating
file_records管理上传文档记录filename, upload_time, status

核心数据表设计概览

在Doris中创建向量表时,需指定embedding列为数组类型,并创建ANN索引。以下代码展示了如何创建一个支持512维向量、使用HNSW算法和L2距离度量的向量表:
CREATE TABLE `doris_vector_table` (
`id` BIGINT NOT NULL AUTO_INCREMENT,
`document_name` text NULL,
`content` text NULL,
`embedding` array NOT NULL,
INDEX idx_embedding (`embedding`) USING ANN PROPERTIES(
"dim" = "512",
"index_type" = "hnsw",
"metric_type" = "l2_distance"
)
) ENGINE=OLAP DUPLICATE KEY(`id`)
DISTRIBUTED BY HASH(`id`) BUCKETS 1
PROPERTIES ("replication_allocation" = "tag.location.default: 1");
04后端核心逻辑实现
后端采用Flask框架提供Web API接口,主要功能包括用户认证、文件上传管理、对话交互及评价反馈。系统通过装饰器@login_required保障接口安全。核心对话接口/api/chat接收用户查询后,会调用RAG流程进行意图识别与检索生成。
  1. 用户认证与会话管理
    实现用户注册、登录与登出功能。注册时对密码进行哈希处理,登录成功后建立Session,记录用户ID与用户名,并在聊天界面展示用户首字母头像。
  2. 对话交互与评价机制
    提供/api/chat接口处理实时问答,支持/api/rate接口对回答质量进行评分(1-5分)及点赞反馈。评价数据实时写入数据库,用于后续模型优化。
  3. 文件管理与后台监控
    管理员可通过/admin页面上传、下载及删除知识库文件。文件操作通过/api/upload、/api/files等接口实现,支持对数据资产的动态更新。
05项目收益与效果
该智能运营助手上线后,在降本增效与业务赋能方面取得了显著成效。系统整体问答准确率稳定在85%以上,能够高效承接业务方关于表结构、字段含义及指标口径的高频咨询。
评估维度具体指标/成效
人力成本降低单名数据开发每月节省约10小时答疑耗时,年释放超120小时产能
响应效率缩短业务方数据获取与决策周期,实现自助化服务
系统准确性问答准确率稳定在85%以上,有效覆盖高频咨询场景

项目实施效果评估

评论

评论区空态插画

当前文章无评论,是时候发表评论了