magicfield
V2EX  ›  程序员

Agent 在传统企业的尝试与阻碍

By magicfield at 3 月 6 日 · 4463 次点击

因为领导层反复强调和要求推进 AI 相关的工作,近期也试了不少方案。 目前是做了两个实验性的 Agent:

1 、各种技术资料的检索 Agent ,效果一般般,但勉强能用。

2 、对某个特定平台,报错后,对各类历史问题的处理方案自动检索 Agent ,方便用户自行解决。

都是用 Elastic + Dify 简单做的。

目前就是感觉 Agent 的效果还是没达到能大规模实际投入生产的程度。主要几个问题:

1 、数据保密问题,也是最主要的问题,由于厂内对信息保密的要求比较高,不允许使用外部大模型 API 。虽然采购了一些卡部署了 deepseek 开源模型,但速度方面感觉很难满足大规模使用,我算了下只能满足 20 个并发左右。

2 、传统企业数字化程度不足的问题,文档格式非常混乱,虽然数字化已经推进了好几年,但资料还是不太行(还有部门之间的问题,数据上下游配合一直都挺困难的)。

感觉一种现在各种企业都想强推 AI ,但基础又很难执行。

有相关经验的大佬也可以分享下你们的经历。

22 条回复  •  2026-03-09 14:58:31 +08:00
chen11
   1
chen11  
   3 月 6 日
领导就是傻逼,我们也是有信息安全要求,只能本地部署,然后卡还不够用。最后的结果就是开发了一半的项目直接干掉,压根用不了。
bixinhaner
   2
bixinhaner  
   3 月 6 日
dirty data 、dirty work 、dirty security 。各种非技术大山阻碍
xFrye
   3
xFrye  
   3 月 6 日
按你说的,目前公司里数字化推进都这么难,ai 就更不用想了
Ketteiron
   4
Ketteiron  
   3 月 6 日   ❤️ 1
良好的数字化是 AI 落地的前提,Garbage In, Garbage Out 是永恒不变的真理。
dingawm
   5
dingawm  
   3 月 6 日
现在的模型,文档格式应该不太会影响一般的问答吧?是不是文档内容本身也不太行?
SakurajimaMa
   6
SakurajimaMa  
   3 月 6 日
目前遇到同样的问题
jinlong
   7
jinlong  
   3 月 6 日   ❤️ 1
只要有数据和数据字段描述,文档格式在 AI 下根本不是问题。你的问题核心是数据涉密、本地部署成本,天文数字。
YanSeven
   8
YanSeven  
   3 月 6 日
除非是 BAT ,不然内部部署的大模型,大概率没啥用。以后可能会有 LLM 的私有云部署服务。
DefoliationM
   9
DefoliationM  
   3 月 6 日 via Android
自己部署是差很多,搞个差不多的凑合就行了。我司也是,用的 vllm+qwen ,开源里都算好的了,还是各种不遵守指令,还不如 chatgpt 网页上免费的模型。
roygong
   10
roygong  
   3 月 6 日 via iPhone
@YanSeven 目前 LLM 私有部署成本极高,200B 模型部署下来一个月租金可以雇一个大厂程序员了
Kakarrot
   11
Kakarrot  
   3 月 7 日 via iPhone
还是成本问题不是技术问题
Hyvi
   12
Hyvi  
   3 月 7 日
@chen11 用外部的开源模型
Hyvi
   13
Hyvi  
   3 月 7 日
本地部署的根本就不太行,效果非常差,用了一次再也不想用了
uxstone
   14
uxstone  
   3 月 7 日
传统企业的 IT 不是应该躺平当甲方吗?

苦活脏活都扔给乙方外包去做。
BaiMiao
   15
BaiMiao  
   3 月 7 日
我也是传统行业,马上就要做了,初步做个知识库,接入 IM 工具,然后优化效果,后面接入业务系统,说要搞个虚拟员工。唉,一点头绪都没有,每个阶段都要成果。
Jack66
   16
Jack66  
   3 月 8 日
@DefoliationM vllm 是啥
raycool
   17
raycool  
   3 月 8 日
@Jack66 本地部署大模型的工具,类似 ollma
anyChris
   18
anyChris  
   3 月 8 日
数据保密和文档质量这两个问题太真实了。我们这边也是,厂内不让接外部 API ,自研模型效果又跟不上。

目前折中方案是本地部署小模型做简单检索,复杂任务还是人工处理。等私有化部署的大模型成熟了再大规模推广。
Kohilos
   19
Kohilos  
   3 月 8 日
我司从去年底开始也在搞 AI 改造了,老板还让我牵头我们部门搞,头疼。数据安全倒是不用我操心,公司 IT 要求用的 Copilot 365 ,签的协议数据不会用于训练。
genuifx
   20
genuifx  
   3 月 8 日
先数字化 才能智能化,一步跨过去 中间也得补作业
chen11
   21
chen11  
   3 月 9 日
@Hyvi 信息安全有要求,难搞
waklealone
   22
waklealone  
   3 月 9 日
传统企业做 Agent ,技术难题反而不是第一位,第一位是权限和责任边界。我的建议是先做“低风险高频”场景:知识检索、FAQ 、工单归类、周报草稿;把“可追溯、可回滚、人工复核”先搭好,再谈自动执行。这样推进会更稳,也更容易拿到管理层支持。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
© 2026 V2EX · 71ms · 3.9.8.5