做 AI 竞品分析失败了:一次被 Bug 和需求膨胀拖垮的尝试

人人都是产品经理
个人专栏
热度: 5251

作者复盘一次AI竞品分析工具开发失败经历,从简洁技术链路(爬虫、多模态识别、RAG增强生成、多Agent协同)起步,因过早引入伪需求(如问答交互、SaaS化、多租户系统)导致工程复杂度失控、成本激增且无法交付,最终反思应聚焦核心提效场景,避免早期过度产品化。

摘要由 Mars AI 生成
本摘要由 Mars AI 模型生成,其生成内容的准确性、完整性还处于迭代更新阶段。

AI竞品分析工具的探索之旅充满技术与成本的双重挑战。从多模态识别到RAG增强生成,开发者投入200多元却最终折戟于复杂的产品化陷阱。本文将深度复盘这场失败的实验,揭示从简洁技术栈到臃肿业务系统的致命转折,为AI产品落地提供血泪教训。

狂砸了 200 多块钱的 Claude API 调用费,结果最终还是失败了。非常心痛,于是写下这篇文章。总要有点收获,不能钱砸进去之后,什么都没剩下。

最初的设想与技术链路

刚开始我对 AI 竞品分析的设想非常简单:输入一个目标链接,系统自动分析页面内容,并按照固定的 Prompt 输出一篇结构化的竞品分析报告。

为了实现这个闭环,我设计了一条包含多节点的处理链路:

1)信息抓取(爬虫脚本): 拆分为两个独立的脚本执行。一个专门负责对网页进行全局截图;另一个负责把网页里的 HTML 源码和全量文本提取出来。

2)多模态识别(VLM Agent): 引入视觉模型,对第一步抓取到的网页截图进行识别,将图片中的视觉信息转化为文本描述。

3)数据清洗(Clean Agent): 负责处理乱序文本,将 HTML 源码里无用的标签和乱七八糟的冗余代码全部清洗掉,只保留干净的纯文本数据。

4)报告生成(Generator Agent): 将压缩后的截图与清洗后的纯文本,一并交给负责撰写分析报告的 Agent 进行归纳输出。

5)审查与兜底(Review Agent): 这是解决“AI 幻觉”和信任问题的核心机制。报告写完后,由审查 Agent 将生成的文字与原始图片及内容进行交叉验证,核实内容是否基于事实。如果不合格直接打回重写,设置重试上限为 3 次。如果 3 次后仍不达标,则在最终报告上明确标记“置信度较低”。

为了控制成本(省 Token)和提升效果,我在链路中应用了明确的工程策略:

1)图片压缩:截图直接丢给模型非常消耗 Token,必须在前端先进行压缩处理。

2)模型路由(大模型分发):不同任务调用不同能力的大模型。多模态识别、报告生成和最终审查,调用能力强、价格高的模型以保证质量;而数据清洗这种机械工作,则分配给便宜的“小模型”处理。

3)结构化输出控制(Prompt Engineering):为了保证不同 Agent 之间数据传递的稳定性,我放弃了让模型输出自然语言长文,而是通过 Few-Shot(少样本提示)和明确的 Prompt 约束,强制“报告生成 Agent”以严格的 JSON 格式(如包含核心功能、定价、目标客群等字段)输出。这使得下游的“审查 Agent”能够进行字段级的精准核对,而不是在长篇大论中迷失。

RAG

增加复杂度的转向:引入 RAG

后来我觉得,如果作为日常使用的工具,每次都要盯着长篇幅的分析文档看,效率太低。最符合直觉的交互应该是“问答”——等系统分析完,我直接就我关心的细节提问。

于是,我决定在产品里引入 RAG(检索增强生成):

向量化存储: 竞品分析报告生成后,直接转化为向量(Embedding),存入向量数据库中。这里的切片策略定为 800 字一切块,保留 10% 的重合度,以保证上下文的语义关联性。

检索与问答: 前端提问时,系统将当前问题与历史对话作为上下文一并发给向量数据库,按相关性优先级排序召回片段,最后由大模型总结并回答。单纯这一步的开发成本其实并不高。

RAG

噩梦的开始:陷入伪需求与 Bug 丛林

但正是由于加入了问答机制和想要“产品化”的冲动,各种不顺利接踵而至,场景复杂度直线上升。

1)逻辑漏洞与边界情况

问答功能极度依赖意图识别。

如果我问了与竞品无关的问题,系统需要专门的逻辑去拦截处理;

如果我问的是数据库里还没有抓取过的竞品,Agent 也得准确识别并返回“库中暂无该数据”。

想把这些边界情况处理得足够智能化,工程量非常大。

2)需求膨胀与业务系统

我想把它做成一个完整的 SaaS 产品部署上线给朋友们用,就必须做账号登录注册、多租户的数据隔离。

不同的账户登录,看到的报告和问答记录必须完全独立。

此外,还得做一套 Token 消费的账单计费系统。

3)被边缘功能拖垮

结果是,系统淹没在了 Bug 里。

最开始,我用 Gradio(一个专门做 Python Demo 的框架)搭 MVP 的核心逻辑,一天不到就跑通了。

但后来为了优化 UI 界面、做成真正的产品,我把前端重构成了 Next.js + React,接着开始加账号、账单、数据隔离这些外围系统。

为了修这些边缘业务的 Bug,我花了整整三天,且依然报错不断。

这已经彻底背离了我最初“用 AI 节省时间成本”的初衷。

反思与总结

最终我选择果断放弃。

开发 AI 核心业务逻辑连 50 块钱都没花到,但修周边系统的 Bug 却消耗了三倍以上的金钱和精力,关键是还没修好。

虽然心痛,但也算交了学费。

如果让我重新操盘这个项目,我会摒弃掉所有花哨的技术堆砌,完全从实用主义和成本角度出发。

如果是个人或小团队的提效工具,其实只需要做透两件事:

初次基建:抓取网站原始信息,生成一篇高质量的基线竞品分析报告。

定期追踪:定期(如每周/每月)执行抓取,结合原始资料和上一次的报告,专注输出“对比分析”(明确指出了增加了什么新功能、修改了什么核心文案)。

这就足够解决业务痛点了。

至于 RAG 问答、复杂的多账户系统,在项目早期根本不是核心需求,纯粹是锦上添花的负担。

本文来自微信公众号“人人都是产品经理”(ID:woshipm),作者:玉泽

声明:本文为入驻“MarsBit 专栏”作者作品,不代表MarsBit官方立场。
转载请联系网页底部:内容合作栏目,邮件进行授权。授权后转载时请注明出处、作者和本文链接。未经许可擅自转载本站文章,将追究相关法律责任,侵权必究。
提示:投资有风险,入市须谨慎,本资讯不作为投资理财建议。
本内容旨在传递行业动态,不构成投资建议或承诺。