第8章 主流大模型对比：GPT-4o、Claude、DeepSeek、豆包、Kimi怎么选？

8.1 为什么大模型选型很重要？

作为AI产品经理，大模型选型是你最重要的技术决策之一。选对了模型，产品效果好、成本低、用户满意；选错了模型，产品效果差、成本高、用户流失。大模型选型不是"选最好的"，而是"选最合适的"——根据你的产品场景、用户需求、成本预算、合规要求，选择最合适的模型。

8.1.1 大模型选型对产品的影响

大模型选型直接影响产品的以下方面：

• 产品效果：不同模型在不同任务上的表现差异很大——GPT-4o在复杂推理和多模态上强，Claude在长文本和写作上强，DeepSeek在代码和中文上强。选对模型，产品效果直接提升一个档次。
• 响应速度：不同模型的推理速度差异很大——小模型（如GPT-3.5、DeepSeek-V2-Lite）响应快，大模型（如GPT-4o、Claude 3 Opus）响应慢。响应速度直接影响用户体验，尤其是对话式产品。
• 成本：不同模型的价格差异可达10-100倍——GPT-4o比GPT-3.5贵10倍以上，Claude 3 Opus比Haiku贵20倍。成本直接影响产品的盈利能力和定价策略。
• 上下文长度：不同模型的上下文窗口差异很大——从4K到200K甚至1M。上下文长度决定了产品能处理多长的文档、多复杂的对话。
• 多模态能力：不是所有模型都支持图像、音频、视频输入输出。多模态能力决定了产品能不能做图像理解、语音对话、视频分析等功能。
• 合规和安全：不同模型的数据政策、合规认证、安全能力不同。金融、医疗、政务等对合规要求高的行业，模型选型必须考虑合规性。
• 稳定性和可用性：不同模型的API稳定性、可用性、限流策略不同。产品上线后，如果模型API不稳定或经常限流，用户体验会很差。

8.1.2 大模型选型的8个核心维度

评估和选择大模型，可以从以下8个维度入手：

8.2 主流大模型详细对比

8.2.1 第一梯队：国际顶尖模型

1. GPT-4o（OpenAI）

定位：OpenAI的旗舰多模态大模型，2024年5月发布，是目前综合能力最强的大模型之一。

核心优势：

• 综合能力最强：在推理、编程、数学、写作、多模态等几乎所有维度都处于顶尖水平
• 多模态能力强：原生支持文本、图像、音频输入输出，能实时语音对话，能理解复杂图像和图表
• 推理能力强：复杂逻辑推理、数学计算、代码生成能力强，适合复杂任务
• 生态最成熟：Function Calling、结构化输出、微调、插件、Assistants API等功能最完善，开发者生态最成熟
• 响应速度快：GPT-4o的推理速度比GPT-4快很多，首token延迟低，流式输出流畅

主要不足：

• 价格贵：输入$5/M tokens，输出$15/M tokens，是GPT-3.5的10倍以上，高并发场景成本压力大
• 中文能力一般：虽然支持中文，但中文理解和生成能力不如国产模型，中文场景下偶尔有表达不自然的问题
• 合规风险：数据传输到海外，金融、医疗、政务等对数据合规要求高的行业不能直接用
• 限流严格：API限流比较严格，高并发场景需要申请更高配额或做排队

适用场景：复杂推理任务、多模态应用、高质量内容生成、代码生成、对效果要求高且成本不敏感的产品。

价格参考：输入$5/M tokens，输出$15/M tokens；上下文128K。

2. Claude 3系列（Anthropic）

定位：Anthropic的旗舰大模型系列，包括Haiku（轻量）、Sonnet（中等）、Opus（旗舰）三个版本，主打长文本和安全。

核心优势：

• 长文本能力最强：支持200K上下文（Opus支持1M），长文档理解、长对话能力强，长上下文效果衰减小
• 写作和总结能力强：文本生成流畅、自然、有深度，长文档总结、内容创作能力突出
• 安全性高：Anthropic以安全为核心，Constitutional AI技术，输出更安全、更可靠，幻觉率相对低
• 指令遵循好：对复杂指令的遵循能力强，能严格按照Prompt要求输出，格式控制好
• 性价比高：Sonnet的效果接近GPT-4，价格只有GPT-4o的一半左右，Haiku价格便宜速度快

主要不足：

• 多模态能力弱：Opus和Sonnet支持图像输入，但不支持音频和视频，多模态能力不如GPT-4o
• 推理和代码能力一般：复杂推理、数学计算、代码生成能力不如GPT-4o
• 中文能力一般：中文理解和生成能力不如国产模型，长中文文档处理偶尔有问题
• 生态不如OpenAI：Function Calling、结构化输出等功能有但不如OpenAI完善，开发者生态较小
• 国内访问不稳定：国内直接访问API不稳定，需要代理或第三方中转

适用场景：长文档处理、内容创作和总结、法律合同分析、对安全性要求高的产品、长对话应用。

价格参考：Haiku输入$0.25/M、输出$1.25/M；Sonnet输入$3/M、输出$15/M；Opus输入$15/M、输出$75/M；上下文200K（Opus 1M）。

3. Gemini系列（Google）

定位：Google的旗舰多模态大模型系列，包括Flash（轻量）、Pro（中等）、Ultra（旗舰），主打多模态和Google生态。

核心优势：

• 多模态能力强：原生支持文本、图像、音频、视频、代码，能理解长达1小时的视频，多模态理解能力突出
• Google生态集成：和Google搜索、Google Workspace、YouTube、Android深度集成，能获取实时信息
• 长上下文：支持1M上下文，能处理超长文档和代码库
• 性价比高：Flash版本价格便宜、速度快，效果接近GPT-3.5，适合高并发场景
• 代码能力强：Google有深厚的代码积累，代码生成和理解能力强

主要不足：

• 中文能力弱：对中文的理解和生成能力明显不如国产模型，中文场景下效果一般
• 产品化不如OpenAI：API功能和开发者生态不如OpenAI成熟，文档和工具相对弱
• 国内不可用：Google服务在国内不可用，需要海外环境
• 效果不稳定：不同任务上的表现波动较大，有时候效果很好，有时候不如预期

适用场景：多模态应用（尤其是视频理解）、Google生态产品、海外市场产品、代码生成。

价格参考：Flash输入$0.075/M、输出$0.3/M；Pro输入$1.25/M、输出$5/M；上下文1M。

8.2.2 第二梯队：国产顶尖模型

4. DeepSeek系列（深度求索）

定位：国产开源大模型的代表，包括DeepSeek-V3（通用）、DeepSeek-Coder（代码）、DeepSeek-R1（推理），主打代码能力和性价比。

核心优势：

• 代码能力最强：DeepSeek-Coder是目前代码能力最强的开源模型之一，代码生成、补全、调试能力突出
• 推理能力强：DeepSeek-R1推理模型在数学、逻辑推理上接近GPT-4o水平，是国产推理模型的标杆
• 性价比极高：API价格非常便宜，DeepSeek-V3输入$0.14/M、输出$0.28/M，只有GPT-4o的几十分之一，效果接近GPT-3.5
• 开源：模型权重开源，可以本地部署、微调，适合对数据安全要求高的场景
• 中文能力强：国产模型，中文理解和生成能力强，中文场景效果好
• 长上下文：支持128K上下文，长文档处理能力不错

主要不足：

• 多模态能力弱：主要是文本模型，不支持图像、音频、视频输入输出
• 通用能力不如GPT-4o：在复杂推理、创意写作、指令遵循等方面和GPT-4o还有差距
• 生态不够成熟：Function Calling、结构化输出等功能有但不如OpenAI完善，开发者工具较少
• API稳定性一般：作为创业公司，API稳定性和服务能力不如大厂，高峰期可能有限流
• 幻觉率较高：相比Claude和GPT-4o，幻觉率相对高一些，需要RAG和Prompt工程来缓解

适用场景：代码生成和辅助、高并发对话场景、成本敏感的产品、本地部署和私有化、中文应用。

价格参考：DeepSeek-V3输入¥1/M、输出¥2/M；DeepSeek-R1输入¥4/M、输出¥16/M；上下文128K。

5. 文心一言（百度）

定位：百度的旗舰大模型，国内最早发布的大模型之一，企业级应用成熟。

核心优势：

• 中文能力强：国产模型，中文理解和生成能力强，对中文文化、语境、表达习惯理解深入
• 多模态能力：支持文本、图像、音频，文心一格图像生成能力不错
• 企业服务成熟：百度有成熟的企业服务体系，千帆大模型平台功能完善，支持私有化部署、微调、插件等
• 搜索增强：和百度搜索深度集成，能获取实时信息，事实性和时效性好
• 生态完善：和百度智能云、百度地图、百度百科等产品深度集成，企业级应用场景丰富
• 合规性好：国内大厂，数据合规、内容安全、隐私保护做得好，金融、政务等行业可以用

主要不足：

• 通用能力不如GPT-4o：在复杂推理、代码生成、创意写作等方面和GPT-4o有差距
• 长上下文效果衰减：虽然支持长上下文，但长文档理解效果不如Claude
• 指令遵循一般：对复杂指令的遵循能力不如Claude和GPT-4o，格式控制偶尔有问题
• 价格中等：企业版价格不便宜，高并发场景成本压力较大
• API体验一般：API文档和开发者体验不如OpenAI，错误处理和限流策略不够友好

适用场景：中文应用、企业级应用、政务和金融行业、需要搜索增强的产品、私有化部署。

价格参考：文心4.0输入¥0.12/千tokens、输出¥0.12/千tokens；上下文128K。

6. 通义千问（阿里）

定位：阿里的旗舰大模型系列，包括Qwen-Max（旗舰）、Qwen-Plus（中等）、Qwen-Turbo（轻量），开源模型生态最活跃。

核心优势：

• 开源生态最活跃：Qwen系列开源模型是全球最活跃的开源大模型之一，社区贡献多，衍生模型丰富
• 中文能力强：国产模型，中文理解和生成能力强，中文场景效果好
• 多模态能力：Qwen-VL支持图像理解，Qwen-Audio支持音频，多模态能力不错
• 企业服务成熟：阿里云百炼平台功能完善，支持微调、RAG、Agent、插件，企业级服务能力强
• 性价比高：Qwen-Turbo价格便宜速度快，Qwen-Plus效果不错价格中等，适合不同场景
• 长上下文：支持1M上下文，长文档处理能力不错
• 和阿里生态集成：和钉钉、淘宝、阿里云、支付宝等产品深度集成，应用场景丰富

主要不足：

• 旗舰模型能力不如GPT-4o：Qwen-Max在复杂推理、代码生成、创意写作等方面和GPT-4o有差距
• 多模态不如GPT-4o：多模态理解和生成能力和GPT-4o有差距，尤其是视频理解
• 幻觉率中等：相比Claude，幻觉率高一些，需要RAG和Prompt工程缓解
• API体验一般：API文档和开发者体验不如OpenAI，Function Calling等功能偶尔有bug

适用场景：中文应用、开源模型二次开发、企业级应用、阿里生态产品、成本敏感的高并发场景。

价格参考：Qwen-Max输入¥0.04/千tokens、输出¥0.12/千tokens；Qwen-Plus输入¥0.008/千、输出¥0.02/千；上下文1M。

7. 豆包（字节跳动）

定位：字节跳动的C端大模型产品，主打C端用户体验，企业版是火山引擎方舟平台。

核心优势：

• C端体验好：豆包APP的用户体验做得很好，对话流畅、功能丰富、界面美观，C端用户增长快
• 中文能力强：国产模型，中文理解和生成能力强，对中文网络文化、热点、梗理解深入
• 多模态能力：支持图像理解和生成，豆包·AI绘画能力不错，支持语音对话
• 实时信息：和抖音、今日头条深度集成，能获取实时热点信息，时效性好
• 性价比高：企业版API价格便宜，方舟平台功能完善，支持微调、RAG、插件
• 字节生态：和抖音、今日头条、飞书、火山引擎深度集成，应用场景丰富

主要不足：

• 企业服务不如阿里百度：企业级服务能力和生态不如阿里云和百度智能云成熟，大客户服务经验相对少
• 通用能力不如GPT-4o：在复杂推理、代码生成、长文档理解等方面和GPT-4o有差距
• 长上下文一般：长上下文支持不如Claude和通义千问，长文档处理效果一般
• API稳定性一般：企业版API相对年轻，稳定性和服务能力还在提升中

适用场景：C端对话产品、中文应用、内容创作、字节生态产品、成本敏感的场景。

价格参考：豆包Pro输入¥0.05/千tokens、输出¥¥0.09/千tokens；上下文128K。

8. Kimi（月之暗面）

定位：月之暗面的旗舰大模型，主打超长上下文和长文档理解，是长文本领域的标杆。

核心优势：

• 超长上下文最强：支持200万字上下文，是目前上下文最长的模型之一，长文档理解能力突出
• 长文档理解能力强：在长文档总结、长文档问答、代码库理解等场景效果好，长上下文效果衰减小
• 中文能力强：国产模型，中文理解和生成能力强，中文长文档处理效果好
• C端体验好：Kimi APP的用户体验好，长文档上传、总结、问答功能流畅，用户增长快
• 联网搜索：支持联网搜索，能获取实时信息，事实性和时效性好
• 性价比不错：API价格中等，长上下文场景下性价比高

主要不足：

• 通用能力不如GPT-4o：在复杂推理、代码生成、创意写作等方面和GPT-4o有差距
• 多模态能力弱：主要是文本模型，图像理解能力有限，不支持音频和视频
• 企业服务不如大厂：作为创业公司，企业服务能力和生态不如阿里、百度、字节等大厂
• API稳定性一般：API相对年轻，稳定性和服务能力还在提升中，高峰期可能有限流
• Function Calling一般：Function Calling、结构化输出等功能有但不如OpenAI完善

适用场景：长文档处理、法律合同分析、学术论文阅读、代码库理解、长对话应用、中文长文本场景。

价格参考：Kimi长上下文输入¥0.012/千tokens、输出¥0.012/千tokens；上下文200万字。

9. 智谱GLM（智谱AI）

定位：智谱AI的旗舰大模型系列，包括GLM-4（旗舰）、GLM-4V（多模态）、GLM-3（轻量），开源和闭源结合，学术背景强。

核心优势：

• 开源生态好：GLM系列开源模型是国内最早的开源大模型之一，社区活跃，衍生模型丰富
• 中文能力强：国产模型，中文理解和生成能力强
• 多模态能力：GLM-4V支持图像理解，多模态能力不错
• 学术背景强：清华技术背景，模型技术扎实，推理能力和代码能力在国产模型中处于前列
• 企业服务成熟：智谱AI有成熟的企业服务体系，支持私有化部署、微调、插件
• 性价比高：API价格便宜，GLM-3轻量模型价格很低，适合高并发场景

主要不足：

• 旗舰模型能力不如GPT-4o：GLM-4在复杂推理、创意写作、多模态等方面和GPT-4o有差距
• 长上下文一般：长上下文支持不如Kimi和Claude，长文档处理效果一般
• 生态不如大厂：企业服务生态和开发者工具不如阿里、百度、字节等大厂
• API体验一般：API文档和开发者体验不如OpenAI，功能更新速度一般

适用场景：中文应用、开源模型二次开发、企业级应用、私有化部署、成本敏感的高并发场景。

价格参考：GLM-4输入¥0.1/千tokens、输出¥0.1/千tokens；GLM-3输入¥0.005/千、输出¥0.005/千；上下文128K。

8.3 闭源模型 vs 开源模型

8.3.1 闭源模型的优缺点

代表：GPT-4o、Claude 3、Gemini、文心一言、通义千问、豆包、Kimi。

优点：

• 效果好：闭源模型通常效果更好，尤其是旗舰模型，在复杂任务上表现突出
• 服务稳定：大厂提供的API服务稳定，有SLA保障，技术支持完善
• 功能完善：Function Calling、结构化输出、微调、插件、Assistants API等功能完善
• 使用简单：直接调用API，不需要自己部署和维护，上手快
• 持续更新：模型持续迭代更新，效果不断提升，用户自动享受更新

缺点：

• 成本高：API调用费用高，高并发场景成本压力大
• 数据安全风险：数据要传到第三方服务器，对数据安全要求高的场景不能用
• 定制化受限：不能自由修改模型，只能通过微调、Prompt工程、RAG来定制
• 依赖供应商：依赖第三方API，供应商涨价、限流、停服都会影响产品
• 合规风险：海外模型数据传输到海外，国内金融、政务等行业不能用

8.3.2 开源模型的优缺点

代表：LLaMA（Meta）、Mistral、DeepSeek、Qwen（通义千问开源版）、GLM（智谱开源版）、Phi（微软）、Gemma（Google）。

优点：

• 成本低：模型免费，自己部署的话只有算力成本，高并发场景成本远低于闭源API
• 数据安全：可以本地部署或私有化部署，数据不出内网，数据安全有保障
• 定制化自由：可以自由修改模型、微调、蒸馏、量化，根据场景定制
• 不依赖供应商：自己部署的模型不受供应商涨价、限流、停服的影响
• 合规性好：私有化部署满足金融、政务、医疗等行业的合规要求
• 社区活跃：开源社区活跃，有大量衍生模型、工具、教程

缺点：

• 效果不如旗舰闭源：开源模型的效果通常不如GPT-4o、Claude 3 Opus等旗舰闭源模型
• 部署维护成本高：需要自己部署、维护、优化模型，需要GPU算力和运维团队
• 功能不完善：Function Calling、结构化输出、多模态等功能需要自己实现或用第三方工具
• 更新慢：模型更新依赖社区，更新速度不如闭源模型快
• 技术门槛高：需要有算法和工程团队，技术门槛比调用API高很多
• 扩展性挑战：高并发场景下的负载均衡、弹性伸缩、性能优化有挑战

8.3.3 怎么选？

8.4 不同场景的模型选型建议

8.4.1 智能客服场景

需求特点：高并发、响应速度要求高、中文为主、任务相对简单（FAQ+订单查询）、成本敏感、需要Function Calling调用业务系统。

选型建议：

• 主力模型：通义千问Qwen-Plus或DeepSeek-V3——中文能力强、价格便宜、响应快、支持Function Calling
• 复杂问题升级：复杂问题或用户不满意时，升级到GPT-4o或Claude 3 Sonnet——保证复杂问题的解决率
• 高并发优化：简单FAQ用小模型（Qwen-Turbo、GLM-3），复杂问题用大模型，分层处理降低成本
• RAG必备：客服场景必须用RAG，基于企业知识库回答，减少幻觉，保证准确性

8.4.2 AI写作/内容生成场景

需求特点：生成质量要求高、流畅自然、有创意、长文本生成、中文为主、成本中等。

选型建议：

• 主力模型：Claude 3 Sonnet或GPT-4o——写作和长文本生成能力最强，生成内容流畅、有深度、有创意
• 中文场景：通义千问Qwen-Max或文心4.0——中文写作能力强，对中文文化和表达习惯理解深入
• 成本优化：初稿用中等模型（Claude Haiku、Qwen-Plus），润色和优化用大模型，降低成本
• 长文档：Claude 3或Kimi——长上下文能力强，长文档写作和总结效果好

8.4.3 AI知识库/RAG场景

需求特点：基于企业知识库回答问题、准确性要求高、长文档理解、中文为主、需要引用来源、成本中等。

选型建议：

• 主力模型：Claude 3 Sonnet或GPT-4o——长文档理解能力强，指令遵循好，能基于检索内容准确回答
• 中文场景：通义千问Qwen-Max或Kimi——中文长文档理解能力强，Kimi超长上下文适合大知识库
• Embedding模型：BGE或M3E——中文Embedding效果好，开源免费，自己部署成本低
• Reranker：BGE Reranker或Cohere Rerank——提升检索精度，保证回答准确性
• 成本优化：简单问题用小模型+RAG，复杂问题用大模型，分层处理

8.4.4 AI Agent场景

需求特点：复杂任务执行、多轮推理、工具调用、规划能力、长任务、成本较高、效果要求高。

选型建议：

• 主力模型：GPT-4o或Claude 3 Opus——推理能力强、规划能力好、Function Calling稳定，适合复杂Agent任务
• 中等任务：Claude 3 Sonnet或GPT-4o-mini——效果不错，成本低，适合中等复杂度的Agent
• 代码Agent：GPT-4o或DeepSeek-Coder——代码能力强，适合编程Agent
• 中文Agent：通义千问Qwen-Max或DeepSeek-V3——中文理解和工具调用能力不错
• 成本优化：Agent任务成本高（多轮调用），需要严格控制调用次数，简单任务用小模型，复杂任务用大模型

8.4.5 代码生成/AI编程场景

需求特点：代码生成、补全、调试、解释、长代码库理解、多语言支持、响应速度要求高。

选型建议：

• 主力模型：GPT-4o或DeepSeek-Coder——代码能力最强，代码生成、补全、调试效果好
• 代码补全：DeepSeek-Coder或Qwen-Coder——速度快、价格便宜，适合实时补全
• 长代码库：Claude 3或Kimi——长上下文能力强，能理解整个代码库
• 开源部署：DeepSeek-Coder或Qwen-Coder——开源免费，自己部署，代码数据安全
• 成本优化：代码补全用小模型（快、便宜），复杂代码生成和调试用大模型

8.5 模型切换和降级策略

8.5.1 为什么需要模型切换和降级？

生产环境中，不能只依赖一个模型，需要多模型策略：

• 成本优化：不同任务用不同模型，简单任务用便宜的小模型，复杂任务用贵的大模型，大幅降低成本
• 稳定性保障：一个模型API故障或限流时，自动切换到备用模型，保证服务不中断
• 效果优化：不同模型在不同任务上表现不同，根据任务类型选择最合适的模型，提升整体效果
• 供应商风险：不依赖单一供应商，避免供应商涨价、限流、停服带来的风险
• 合规要求：不同用户或数据类型用不同模型（敏感数据用私有化部署模型，普通数据用云API）

8.5.2 模型路由策略

1. 按任务复杂度路由
根据用户问题的复杂度，自动选择模型：

• 简单任务（FAQ、闲聊、简单查询）→ 小模型（Qwen-Turbo、GLM-3、DeepSeek-V2-Lite），成本低、速度快
• 中等任务（内容生成、文档总结、简单推理）→ 中等模型（Claude Haiku、Qwen-Plus、DeepSeek-V3），效果和成本平衡
• 复杂任务（复杂推理、代码生成、长文档分析、Agent任务）→ 大模型（GPT-4o、Claude 3 Opus、Qwen-Max），保证效果

2. 按任务类型路由
根据任务类型选择该领域最强的模型：

• 代码任务 → GPT-4o或DeepSeek-Coder
• 长文档任务 → Claude 3或Kimi
• 写作任务 → Claude 3或GPT-4o
• 中文任务 → 通义千问或文心一言
• 多模态任务 → GPT-4o或Gemini
• 数学推理 → GPT-4o或DeepSeek-R1

3. 按用户等级路由
根据用户等级选择模型：

• 免费用户 → 小模型，控制成本，速度快但效果一般
• 付费用户 → 中等模型，效果好，成本可控
• VIP/企业用户 → 大模型，效果最好，成本高但用户付费能力强

4. 按数据敏感度路由
根据数据敏感度选择模型：

• 普通数据 → 云API模型，方便、效果好
• 敏感数据（合同、财务、个人隐私）→ 私有化部署模型，数据不出内网
• 高合规要求（金融、政务、医疗）→ 国产私有化部署模型，满足合规要求

8.5.3 降级和兜底策略

1. API故障降级
主模型API故障（超时、错误、限流）时，自动降级到备用模型：

• 主模型：GPT-4o → 备用1：Claude 3 Sonnet → 备用2：通义千问Qwen-Max → 备用3：本地部署开源模型
• 降级触发条件：连续3次超时、错误率超过10%、限流（429错误）
• 降级后恢复：主模型恢复正常后，自动切回主模型
• 降级时通知：记录降级日志，告警通知，方便排查问题

2. 效果不好降级
模型回答质量不好时，自动升级到更好的模型：

• 用户点"没帮助"或"重新生成" → 自动升级到更好的模型重新生成
• 模型输出检测（格式错误、内容不相关、置信度低）→ 自动升级模型重新生成
• 连续2次小模型回答不好 → 自动升级到大模型

3. 成本控制降级
成本超预算时，自动降级到更便宜的模型：

• 月度成本超预算80% → 非核心任务降级到小模型
• 月度成本超预算100% → 所有任务降级到最小可用模型
• 高峰期（流量高峰）→ 非核心任务降级，保证核心任务体验

8.6 成本优化策略

大模型调用成本是AI产品的主要成本之一，成本优化是AI产品经理的重要工作。以下是实用的成本优化策略：

8.6.1 模型选型优化

• 不要盲目用最强模型：很多场景用中等模型甚至小模型就够了，效果差10%但成本只有十分之一
• 按任务选模型：不同任务用最合适的模型（代码用DeepSeek-Coder，长文档用Claude，中文用国产模型）
• 分层处理：简单任务用小模型，复杂任务用大模型，80%的简单任务用小模型能省很多成本
• 开源模型自己部署：高并发场景下，自己部署开源模型的成本远低于调用闭源API

8.6.2 Prompt优化

• 精简Prompt：Prompt越短，输入token越少，成本越低。去掉不必要的说明和示例，保留核心指令
• Few-shot示例精简：Few-shot示例会增加输入token，用1-2个高质量示例比5-10个示例效果差不多但成本低很多
• System Prompt优化：System Prompt每次调用都要传，优化System Prompt能持续降低成本
• 上下文管理：及时清理不需要的上下文，不要把所有历史对话都传给模型，用摘要代替原始对话

8.6.3 输出优化

• 限制输出长度：在Prompt中限制输出长度（如"回答不超过200字"），减少输出token
• 结构化输出：用JSON等结构化输出，减少冗余文字，输出更短更精准
• 流式输出+提前终止：用户看到满意的内容可以停止生成，不浪费后续token
• 输出缓存：相同问题的回答可以缓存，重复问题直接返回缓存结果，不调用模型

8.6.4 架构优化

• RAG减少模型调用：用RAG检索相关内容，让模型基于检索内容回答，减少模型需要"思考"的内容，降低输出长度
• 意图分类前置：用小模型或规则先做意图分类，简单问题直接用规则或FAQ回答，不调用大模型
• 批量处理：批量任务（如批量总结文档）用批量API，价格更便宜
• 模型蒸馏：用大模型生成的训练数据微调小模型，小模型达到接近大模型的效果，成本大幅降低
• 推理优化：自己部署模型时，用量化（INT8/INT4）、KV缓存、批处理等技术提升推理效率，降低单token成本

8.6.5 成本监控

• 实时监控：实时监控模型调用量、token消耗、成本，设置告警阈值
• 成本分析：按用户、按功能、按模型、按时间分析成本，找到成本热点
• 成本预算：设置月度/周度成本预算，超预算时自动降级或限流
• ROI分析：分析每个功能的成本和收入/价值，砍掉ROI低的功能，优化ROI高的功能

8.7 实战案例：某AI客服产品的模型选型

8.7.1 背景

某SaaS公司做AI客服产品，服务电商客户，日均对话量100万次，用户主要是中文消费者，需要处理售前咨询、订单查询、售后问题。

8.7.2 需求分析

• 高并发：日均100万次对话，高峰期QPS 1000+
• 响应速度：首token延迟<1秒，用户等待时间短
• 中文为主：95%以上是中文对话
• 任务类型：60%简单FAQ、25%订单查询（需要Function Calling）、10%售后问题（复杂）、5%其他
• 成本预算：单次对话平均成本<0.01元，月成本<3万元
• 效果要求：首问解决率>80%，用户满意度>4.0分

8.7.3 选型方案

模型路由策略：

• 意图分类层：用通义千问Qwen-Turbo做意图分类和复杂度判断，成本极低（单次<0.0001元）
• 简单FAQ（60%）：用RAG+Qwen-Turbo，基于企业知识库回答，单次成本约0.001元
• 订单查询（25%）：用Qwen-Plus+Function Calling，调用订单系统API，单次成本约0.003元
• 售后问题（10%）：用Qwen-Max，复杂问题需要更强的推理和理解能力，单次成本约0.008元
• 用户不满意升级（5%）：用户点"没帮助"或要求转人工前，升级到GPT-4o再试一次，单次成本约0.05元

备用模型：

• 主模型：通义千问系列（中文好、价格便宜、阿里生态稳定）
• 备用1：DeepSeek-V3（价格更便宜、代码能力强，通义故障时切换）
• 备用2：文心一言（百度生态，双备用保证稳定性）

成本优化：

• FAQ缓存：常见问题答案缓存，重复问题直接返回缓存，不调用模型（节省30%调用）
• 上下文管理：对话历史用摘要代替，控制上下文长度在2K tokens以内
• 输出限制：回答限制在300字以内，减少输出token
• RAG优化：检索Top3相关文档，减少输入token，同时保证回答准确性

8.7.4 效果和成本

效果：

• 首问解决率：83%（目标80%，达标）
• 用户满意度：4.2分（目标4.0分，达标）
• 平均响应时间：0.8秒（目标<1秒，达标）

成本：

• 单次对话平均成本：0.0025元（目标<0.01元，远低于目标）
• 月成本：约7500元（目标<3万元，远低于目标）
• 成本结构：简单FAQ 24%、订单查询 30%、售后问题 32%、升级GPT-4o 14%

结论：通过模型路由、分层处理、成本优化，在保证效果的前提下，成本只有预算的25%，ROI很高。

8.8 本章小结

大模型选型是AI产品经理最重要的技术决策之一。选对模型，产品效果好、成本低、用户满意；选错模型，产品效果差、成本高、用户流失。

核心内容回顾：

选型的8个核心维度：效果质量、响应速度、成本、上下文长度、多模态能力、功能特性、合规安全、稳定性服务。

主流大模型对比：

• 国际顶尖：GPT-4o（综合最强、多模态强、贵）、Claude 3（长文本最强、安全、性价比高）、Gemini（多模态强、Google生态、中文弱）
• 国产顶尖：DeepSeek（代码强、性价比极高、开源）、文心一言（中文强、企业服务成熟、合规好）、通义千问（开源生态活跃、中文强、性价比高）、豆包（C端体验好、字节生态）、Kimi（超长上下文最强、长文档好）、智谱GLM（学术背景强、开源生态好）

闭源vs开源：闭源模型效果好、服务稳定、使用简单，但成本高、数据安全风险、定制化受限；开源模型成本低、数据安全、定制化自由，但效果不如旗舰闭源、部署维护成本高、技术门槛高。根据场景选择。

不同场景选型建议：智能客服（国产模型+RAG+分层）、AI写作（Claude/GPT-4o）、AI知识库（Claude/Kimi+RAG）、AI Agent（GPT-4o/Claude Opus）、代码生成（GPT-4o/DeepSeek-Coder）。

模型切换和降级：按任务复杂度/类型/用户等级/数据敏感度路由；API故障降级、效果不好升级、成本控制降级；多模型策略保证稳定性和成本最优。

成本优化策略：模型选型优化（不要盲目用最强、分层处理、开源部署）、Prompt优化（精简、上下文管理）、输出优化（限制长度、缓存）、架构优化（RAG、意图分类前置、模型蒸馏）、成本监控。

实战案例：某AI客服产品通过模型路由、分层处理、成本优化，在保证首问解决率83%、满意度4.2分的前提下，单次对话成本只有0.0025元，月成本7500元，只有预算的25%。

记住：没有"最好"的大模型，只有"最合适"的大模型。根据你的产品场景、用户需求、成本预算、合规要求，综合评估，选择性价比最高的模型，并用多模型策略和成本优化，在保证效果的前提下把成本降到最低。

📝 本章练习（5题）

答案与解析请在 互动学习看板 中作答查看。

📚 AI产品经理实战训练营 课程目录（44 章）

1. 第1章 AI产品经理是做什么的？和传统PM有什么区别？
2. 第2章 2026年AI产品经理就业市场：哪些行业在招？薪资多少？
3. 第3章 零经验转行AI产品经理的3条路径
4. 第4章 AI产品全景图：从聊天机器人到Agent，一文搞懂
5. 第5章 AI产品经理能力模型：你需要掌握哪些技能？
6. 第6章 实战：拆解3个你每天在用的AI产品
7. 第7章 大模型是什么？用大白话讲清楚
8. 第8章 主流大模型对比：GPT-4o、Claude、DeepSeek、豆包、Kimi怎么选？
9. 第9章 Prompt入门：写好提示词的5个原则
10. 第10章 Prompt进阶：System Prompt、COT思维链、Few-shot示例
11. 第11章 结构化输出：让大模型返回JSON、表格、代码
12. 第12章 Prompt优化实战：从垃圾Prompt到高质量Prompt
13. 第13章 大模型的"幻觉"问题：产品经理怎么应对？
14. 第14章 实战：为一个智能客服设计完整Prompt体系
15. 第15章 RAG是什么？为什么企业都在做知识库？
16. 第16章 RAG工作原理：文档→分块→向量→检索→生成
17. 第17章 向量数据库选型：Milvus、Pinecone、Chroma、pgvector怎么选？
18. 第18章 Embedding模型选型：OpenAI、BGE、M3E、GTE对比
19. 第19章 Reranker重排序：让检索结果更精准
20. 第20章 查询改写与混合检索：提升召回率的实战技巧
21. 第21章 知识库运营：文档治理、更新机制、效果监控
22. 第22章 实战：从零搭建一个企业知识库（完整流程）
23. 第23章 Agent是什么？和聊天机器人有什么区别？
24. 第24章 Agent核心能力：感知、规划、工具调用、记忆
25. 第25章 主流Agent框架与协议：Agent Harness、MCP、A2A全解析
26. 第26章 工具调用（Function Calling）原理与实战
27. 第27章 Agent记忆系统：短期记忆、长期记忆、向量记忆
28. 第28章 多Agent协作：多个智能体怎么分工配合？
29. 第29章 Agent评估体系：成功率、成本、延迟怎么监控？
30. 第30章 实战：设计一个制造业生产异常处理Agent
31. 第31章 AI产品需求分析：怎么识别真需求还是伪需求？
32. 第32章 AI产品竞品分析：怎么调研和拆解竞品？
33. 第33章 AI产品PRD撰写：技术可行性、数据需求、评估指标
34. 第34章 AI产品原型设计：对话流、状态机、异常处理
35. 第35章 AI产品数据指标体系：从DAU到模型准确率，全面监控
36. 第36章 AI项目管理：从需求到上线的全流程管控
37. 第37章 实战项目1：从零搭建制造业AI智能质检系统
38. 第38章 实战项目2：从零搭建企业级AI知识库（RAG系统）
39. 第39章 AI产品经理简历优化：让HR一眼看中你
40. 第40章 项目经验包装：把普通项目讲成亮眼案例
41. 第41章 AI产品经理面试常见问题：提前准备，从容应对
42. 第42章 案例分析面试：用结构化思维征服面试官
43. 第43章 薪资谈判：拿到你应得的报酬
44. 第44章 入职前3个月：快速站稳脚跟，建立信任