成为AI前线部署工程师：为什么大多数AI项目未能投入生产 — 以及谁能让它们成功
主讲人说，超过80%的AI项目在投入生产前就失败了 — 而那些让项目成功的人，大部分时间都花在处理人际和旧系统上，而不是模型。这是我们从余永宝博士的免费AITraining2U网络研讨会中整理的笔记，其中包含一个以简单和强化方式构建的争议代理的现场演示。
- 讲座
- 成为人工智能前线部署工程师
- 主讲人
- 余永坡博士 — 拉曼大学管理与科技大学（TAR UMT）CBIEV副主任，曾任某上市银行数据科学实验室负责人
- 主持人
- Warren，AITraining2U创始人
- 时间
- 2026年10月8日星期四，马来西亚时间晚上9:00–10:30；宣传为90分钟大师班
- Where
- 线上，AITraining2U的免费周四网络研讨会之一
- 材料
- 38张幻灯片，包含七个“思考角落”，以及一个争议代理的实时网络演示
“成为人工智能前线部署工程师”是AITraining2U于2026年10月8日举办的免费周四晚间网络研讨会，由余永坡博士主讲，公司创始人Warren主持。邀请函承诺将现场演示“为什么幼稚的人工智能脚本在生产环境中崩溃以及前线部署工程师如何强化企业代理”。三周后，演讲者就如何构建代理本身进行了实践跟进；这两场讲座共同构成了这个两部分系列。
信息图在一页中总结了讲座内容。其后的部分将通过演讲者自己的例子逐一阐述每个观点。
本部分使用的术语
- 前线部署工程师（FDE）
- 在客户公司内部工作的工程师，负责构建、强化和连接运行业务的人工智能系统——部分是顾问，部分是开发人员，部分是系统集成商。
- 概念验证（PoC）
- 一个快速演示，展示某个想法可行。它并非为应对真实用户、真实数据或真实攻击而构建。
- 生产强化
- 将演示转化为人们可以依赖的系统的工作：输入检查、限制、监控、审批和回滚机制。
- 系统集成
- 将新系统与公司现有系统（数据库、ERP、CRM、旧大型机）连接起来，使数据在它们之间流动。
- 代理式人工智能
- 不仅回答问题，还能采取行动的人工智能：它规划步骤、调用API、查询数据库并更改存储数据。
- 提示注入
- 一种技巧，用户通过文本指示人工智能忽略其规则，例如批准本应拒绝的退款。
- 制作-检查
- 一种控制机制，由一方进行更改，另一方（有权限者）在更改生效前进行检查和批准。
余永坡博士是谁？
余永坡博士是拉曼大学管理与科技大学（TAR UMT）CBIEV的副主任，其工作是将大学与产业联系起来，并将研究转化为商业项目。根据幻灯片介绍，演讲者此前曾担任某上市银行数据科学实验室负责人，将100多个机器学习模型投入银行实时系统，设计了一个大型一体化推荐系统，并管理了支持超过10亿令吉收入的预测模型。主持人补充说，演讲者还曾为一家航空公司开发人工智能。
什么是前线部署工程师？
前线部署工程师（FDE）是在客户公司内部工作的工程师，负责构建、强化和连接运行其业务的人工智能系统。与在销售前构建演示的解决方案工程师不同，FDE将生产软件部署到客户的实时系统中，并以正常运行时间和客户的投资回报率来衡量其成功。
幻灯片将FDE定义为嵌入客户环境中，负责构建、强化和集成操作性人工智能系统的工程师。这个角色源自Palantir等科技公司。FDE不编写一次性概念验证；FDE将生产软件部署到客户的实时系统中，然后将为一位客户构建的功能转化为主产品的特性。
用演讲者的话说，编程不再是高深莫测的科学。真正让这份工作变得困难的是代码之外的一切。客户将FDE视为顾问、开发人员和系统集成商的结合体，因此FDE必须用客户的语言沟通，避免行话，将业务需求转化为技术工作，并将技术成果再转化为业务术语。主持人补充说，客户往往无法明确表达他们的需求：FDE必须挖掘需求，确认需求，并解释步骤、权衡、真实成本以及如何衡量投资回报。
| 角色 | 主要关注点 | 角色交付成果 | 如何衡量成功 |
|---|---|---|---|
| 机器学习研究员 | 模型设计和损失函数的数学原理 | 笔记本和模型检查点 | 基准测试准确性 |
| 解决方案工程师 | 售前和演示 | 脚本化概念验证和幻灯片 | 赢得的技术交易 |
| 平台工程师 | 内部工具和计算 | 集群设置文件和SDK | 公司内部开发人员的工作效率 |
| 前线部署工程师 | 在客户实时系统内部进行集成 | 生产微服务 | 正常运行时间和客户的投资回报率 |
项目合作的四个阶段
FDE项目合作的四个阶段
发现与范围界定
审计客户的防火墙和数据清洁度，并商定严格的响应时间目标。与所有相关人员沟通：老板和员工可能想要不同的东西。
快速原型
在14天内交付一个使用样本数据的端到端工作流程。一个工作原型比千言万语更能说明问题。
生产强化
添加服务间的加密连接（mTLS）、模式保护、Prometheus指标、审批流程和自动回滚。
平台反馈
将为该客户构建的适配器转化为主产品的共享部分，以便下一个客户可以从更先进的起点开始。
演讲者强调，用户验收测试在任何内容上线之前进行。
主持人认为，许多人现在可以使用n8n和LangGraph等简单工具完成前两个阶段，并开始提供一些人工智能咨询服务。主持人说，马来西亚真正短缺的是能够为大型公司完成第三和第四阶段工作的人才。
为什么大多数人工智能项目在投入生产前就失败了？
大多数人工智能项目在演示和生产之间失败，因为演示是为了给人留下深刻印象，而不是为了生存：数据缺失或混乱，运行它的笔记本没有契约或监控，客户网络阻止它，而且没有人规划运行成本。幻灯片以三个研究数据开头。
- >80%的人工智能项目在投入生产前失败RAND Corporation，2024年
- 30%的生成式人工智能项目在概念验证后被放弃Gartner，2024年7月：数据质量差、风险控制弱、运行成本高
- 40%的代理式人工智能项目面临取消风险Gartner对2025-2027年的预测：无限制的代理循环，无回滚的写入
笔记本是常见的罪魁祸首。Jupyter笔记本（如Google Colab）非常适合探索，但在客户公司中，它们在三个方面会失败。
隐藏的全局状态
单元格可以按任意顺序运行，因此变量会隐藏，并且相同的运行不会两次给出相同的结果。
无API契约
没有输入验证、速率限制、令牌预算或健康检查——没有任何其他系统可以依赖的东西。
零遥测
没有人能看到响应时间、数据变化或代理循环出错。
演讲者根据经验补充了原因。有时，计划模型所需的数据不存在：一家房地产公司想要一个潜在客户评分代理，但没有历史数据可供学习，因此必须首先构建数据管道。公司网络通常会阻止原型所依赖的隧道和演示工具，例如 Streamlit。而且成本也让人感到意外：模型 API 按令牌收费，一些代理平台对每条消息都收费——即使是“你好”也是如此。
中小型企业与大型企业：各类客户对人工智能的需求
小型企业通常只需要在其现有电子表格的基础上进行简单自动化；大型企业则需要与旧系统进行仔细集成，演讲者认为这占了 70-80% 的工作量。演讲者将中小型企业 (SME) 和大型企业视为具有不同问题的不同客户。对于中小型企业，建议是保持简单；对于大型企业，则预计大部分工作将是连接系统。
| 项目 | 中小型企业客户 | 大型企业客户 |
|---|---|---|
| 主要数据问题 | 数据空缺：数据量少 | 数据混乱：大量数据分散在多个表中，没有明确的链接 |
| 系统 | 电子表格和简单工具 | 旧系统，如 COBOL、SAP 和 SAS，通常与 Microsoft 或 Google 工具绑定 |
| 规则 | 少 | 严格：禁止使用 USB 驱动器，只允许使用经批准的 Python 库，限制云使用 |
| 合适的解决方案 | 简单自动化：将 Google 表格或 Excel 连接到小型数据库，添加仪表板和简单代理（n8n、Gemini Gems、Copilot Studio） | 系统集成（70-80% 的工作）、API、针对没有 API 的系统的机器人流程自动化，以及带有审批步骤的代理 |
| 他们需要 AI 代理吗？ | 大多不需要：简洁的脚本和单步 AI 工具；无限制的代理循环成本可能高于人工工人 | 需要，以访问锁定在 SAP、Salesforce 和 SQL 数据库中的数据——但仅限于状态机、回滚、速率限制和审计检查点 |
| 聘请谁 | 一名 FDE，将现成的 AI API 连接到 QuickBooks、Shopify 或 HubSpot，并带有令牌限制和缓存 | AI 工程师构建多个代理，与 FDE 合作，将它们连接到现有系统 |
什么是代理式人工智能，为什么它需要前线部署工程师？
代理式 AI 是指能够行动而不仅仅是回答的 AI：它将任务分解为多个步骤，调用外部 API，查询 SQL 数据库，处理错误并更改业务保留的数据。由于现在的错误会更改真实记录，幻灯片指出工程师的角色从“提示设计师”转变为“分布式系统架构师”。他们将流程分为四个阶段。
代理系统如何运行任务，并带有其防护措施
- 任务感知：理解请求并根据模式进行检查
- 一个计划，而不是自由聊天状态图规划器：将任务分解为带有重试的步骤 (LangGraph)
- 每个步骤都调用一个工具通过 MCP 进行工具调度：以标准方式调用经过身份验证的公司 API
- 在数据更改之前人工守卫门：在任何写入发生之前，由人工确认
前线部署工程师需要具备哪些技能？
根据幻灯片，FDE 需要四组技能：扎实的软件工程、处理混乱的企业数据、应用 AI 和 LLMOps，以及系统集成——幻灯片称之为“真正 70% 的工作”。安全、部署和与业务沟通则在此之上。
软件工程
使用 Pydantic v2 和 MyPy 进行严格类型检查和验证，异步代码以避免模型调用阻塞，以及使用模拟 API 进行测试。
混乱的企业数据
熟练的 SQL、流处理和队列，以及自动化数据清理。
应用 AI 和 LLMOps
混合检索、固定（确定性）防护措施和持续评估。
系统集成
API 网关、与旧系统的连接器、故障时的回退机制以及遥测——“真正 70% 的工作”。
安全是重中之重：OAuth2 和相互 TLS (mTLS)、基于角色和属性的访问控制，以及加密审计跟踪。企业 AI 在三个地方之一运行——客户的虚拟私有云、客户自己的服务器（没有公共互联网流量），或用于国防和关键基础设施的隔离网络。幻灯片上的工具链包括用于模型服务的 FastAPI、Pydantic 和 vLLM，用于代理和数据的 LangGraph、模型上下文协议 (MCP)、pgvector、Redis 和 Kafka，用于评估的 Ragas、Langfuse、DeepEval 和 OpenTelemetry，以及用于基础设施的 Docker、Kubernetes、Keycloak 和 HashiCorp Vault。
如何成为前线部署工程师：12个月路线图
幻灯片将一年分为四个季度：首先构建一个经过测试的生产服务，然后将其连接到企业系统，然后运行和评估代理，最后在客户处进行发现和部署。
- 第 1-3 个月
生产核心
Docker 容器、异步 FastAPI、严格的 Pydantic 和带有持续集成的 Git。目标：一个带有测试的容器化服务。
- 第 4-6 个月
企业管道
SQL 窗口函数、OAuth2 登录、Redis 队列和 Webhook 总线。目标：一个与旧 CRM 系统连接的有效桥梁。
- 第 7-9 个月
代理操作和评估
LangGraph 状态机、通过 MCP 进行工具发现，以及 Ragas 评估工具。目标：一个经过充分评估的本地代理。
- 第 10-12 个月
现场领导
发现访谈、制定工作说明书范围，以及与高管进行架构审查。目标：在客户处领导嵌入式部署。
三个实地案例
幻灯片展示了三个案例，每个行业一个。演讲者说它们是根据真实的客户请求类型构建并改编为示例的；结果是幻灯片中的数据。
| 案例 | 问题和常见错误 | FDE 构建了什么——以及结果 |
|---|---|---|
| 制造业：追溯组件来源 | 隔离的工厂网络、混乱的序列数据、没有公共 SDK 的机器协议。错误：将静态 CSV 文件输入到基本的 RAG 存储中，这会生成批次 ID | 一个遍历物料清单图的代理：QA 摄像头警报，跨供应商 ERP 系统搜索，98.5% 置信度以上的安全门，然后在 SAP 中进行批次隔离。结果：不良批次召回时间从 72 小时缩短到 4 分钟 |
| 零售银行：产品建议和客户服务 | 大约 30 年历史的 COBOL 大型机，需要在 200 毫秒内给出答案，以及隐私法。错误：让一个开放式模型批准没有上限的费用退款 | 一个读取消费模式以建议产品并处理费用纠纷的代理，具有低于 100 美元的硬性限制和不可更改的账本。结果：62% 的问题在首次接触时解决，定制贷款注册量增加 28% |
| 电子商务：投诉和纠纷 | 虚假退货、第三方跟踪中的漏洞、数据库锁定问题。错误：一个听起来很友善但没有工具来更改数据库的道歉机器人 | 一个护理代理，检查照片和索赔，交叉核对承运商的 GPS 和重量数据，写入 PostgreSQL 并触发退款。结果：解决时间从 5 个工作日缩短到 45 秒，升级减少 74% |
与业务部门沟通：“猫与狗的对话”
一张幻灯片询问技术团队和业务团队是否是“猫和狗对话”。工程师报告说损失分数从一个数字下降到另一个数字；业务只听到六个月和 30 万美元没了，仍然不知道离开的客户是否减少了。结果是预算被取消，双方都心生怨恨。
FDE 是翻译者。数学变成了金钱——更快的响应被表示为每笔交易节省的美元。在编写一行代码之前，高管目标就已明确。双方都查看一个带有共同指标的仪表板，例如争议解决的速度与 API 的正常运行时间。模糊的请求必须成为具有明确输入、限制和服务水平的目标。
客户要求
模糊、无边界、无法测试
- “我们能将 AI 代理插入我们的供应链，使其变得智能吗？”
- 导致范围蔓延和永无止境的项目
FDE 翻译
明确的输入、限制和服务水平
- “提前 48 小时预测组件缺货，精度超过 92%。”
- 双方都可以衡量和批准的东西
在高管更新中，底线优先：首先说明节省的时间或金钱，及早指出障碍，并将技术深度放在附录中。
研究人员的推销——避免
- “我们使用 LoRA rank 16 对一个 7B 参数模型进行了微调，并将交叉熵损失降低了 0.14。”
FDE 的推销——采纳
- “我们将争议解决时间从 5 天缩短到 45 秒，每年节省 38 万美元，审计准确率达 99.4%。”
每个利益相关者关心的事情不同，每个人对 FDE 的需求也不同。
| 利益相关者 | 关心什么 | FDE 给他们什么 |
|---|---|---|
| 业务赞助商 | 速度、收入和他们可以捍卫的投资回报 | 每两周一次可衡量的演示 |
| 客户IT主管 | 停机时间和没人会支持的软件 | 自动化设置文件（Helm charts）和运行手册 |
| 安全官 | 个人数据泄露、未经批准的数据库写入、合规性问题 | 清晰的软件物料清单和渗透测试报告 |
当生产系统崩溃时：事故作战室
生产环境中总会出问题，幻灯片展示了FDE在出现问题时会怎么做。
控制住它
跳闸断路器，让系统回退到固定规则，而不是导致客户应用程序停机。
说明正在发生什么
在调查进行期间，每30分钟向每个受影响的客户提供一次状态更新。
找出原因，不责备
撰写一份不带指责的根本原因分析报告，并附带自动化回归测试，以确保此类问题不再发生。
修复平台
修补共享代码中的边缘情况，以便其他客户的部署也受到保护。
七个思考角落
幻灯片暂停七次进行简短讨论。这些是问题，以及幻灯片上的答案。
| 问题 | 幻灯片上的答案 |
|---|---|
| 传统数据科学家还有用吗？ | 手动模型调优和静态CSV文件分析现在已是常见技能。统计学对于设计评估仍然很重要，优秀的数据科学家会转向FDE工作，其优势在于连接整个系统。 |
| 开源还是专有AI模型？ | 专有模型（OpenAI、Anthropic）推理能力最佳且无需服务器，但会带来锁定、速率限制和数据规则。开源模型（Llama、Mistral、Qwen）将数据保留在内部并离线运行，但需要GPU；它们适用于国防、银行和医疗保健领域。 |
| 我们真的需要AI代理吗？ | 小型公司大多只需要简单的脚本和单步AI工具。大型企业确实需要代理，但仅限于具有固定软件防护措施的代理。 |
| 代理越多越好吗？ | 不。五个各90%可靠的代理，端到端成功率仅约59%；代理之间的聊天会增加30秒或更多延迟；自由辩论无法重放以查找错误。绝不要在10行Python函数能解决问题的地方使用代理；一个强大的模型配合严格的JSON工具胜过一群代理。 |
| 中小企业需要AI工程师还是FDE？ | FDE，他们将现成的AI API连接到中小企业已有的系统中，通过令牌限制和缓存保持每月费用低廉，并在数周内交付能回本的成果。 |
| 技术团队和业务团队：猫和狗对话？ | FDE双向翻译——将数学转化为金钱，将目标转化为代码——通过一个共享仪表板。 |
| 在AI时代，编码还有用吗？ | 样板代码和复制粘贴式编码现在由AI完成，但代码审查、系统设计和安全检查变得更加重要。FDE的优势在于精确指导AI编码工具并验证其产物。 |
不信任任何人：安全与问责
演讲者的例子是一个佣金纠纷。一位房产中介说本月工资应该是2万，而不是1万7。如果AI代理可以更改数据库，谁来批准更改——以及那1万7是否已经支付，所以只欠3千？演讲者的规则是“不信任任何人”，无论是人类还是代理。一个有权限的人批准更改；人为错误归咎于人，系统错误归咎于系统；在任何东西上线之前，与客户进行用户验收测试（UAT）至关重要。
“我奉行不信任任何人，无论是代理还是人类。”
其他保护措施包括按需访问表格（这是许多一对一表格的原因之一）、写入系统中的限制、制作-检查员审查，以及最重要的是防御提示注入，即用户欺骗AI做不该做的事情。
强化人工智能代理是什么样的？现场演示
强化意味着将安全措施写入系统而非提示：在数据到达模型之前屏蔽个人数据，用源系统检查声明，阻止个人大额支付，在一个锁定事务中更新数据库并保留防篡改日志。演讲者的网络演示展示了每一个。
最后，演讲者分享了一个网络演示，即代理争议与纠正引擎（Agentic Dispute & Rectification Engine），并邀请大家尝试。演讲者说，这不是一个完整的解决方案：它展示了AI工程师以天真的方式构建争议服务时会遇到的麻烦，以及专业的FDE系统增加了什么——包括一个制作人和一个检查员。该页面有两种模式：天真原型（Naive Prototype）和强化系统（Hardened System），四个测试用例，以及五个步骤。对于每个步骤，它都展示了常见的陷阱、FDE的修复方法和简短的代码示例。
| 步骤 | 天真的陷阱 | FDE的修复方法 |
|---|---|---|
| 1 · 接收消息 | 带有身份号码的原始消息直接发送到云模型 | 个人数据首先被屏蔽（Presidio），输入根据Pydantic模式进行检查 |
| 2 · 与承运商核对 | 代理相信客户的话 | 一个经过身份验证的MCP工具向承运商请求GPS、称重和照片数据 |
| 3 · 策略门 | 模型决定退款，没有上限 | 代码中的硬性限制：超过150美元，或欺诈分数高，则转交人工处理 |
| 4 · 更新数据库 | 一个可能与其他更新冲突的原始SQL更新 | 一个带有行锁的ACID事务（SELECT … FOR UPDATE） |
| 5 · 保留记录 | 容器重启后消失的控制台日志 | 在仅追加账本中的SHA-256哈希，以及带有重试功能的支付webhook |
我们以两种模式运行了所有四个案例。差异在第三个案例中最为明显：天真代理服从以“SYSTEM OVERRIDE”开头的消息，并批准5,000美元的电汇退款，而强化代理则发现注入，锁定会话并记录事件。
| 测试用例 | 天真原型 | 强化系统 |
|---|---|---|
| A · 一个有效的损坏包裹，$89.50 | 退款，但将客户的身份号码发送给外部模型 | 屏蔽号码，与承运商确认送达，通过150美元检查，在一个事务中记录修复 |
| B · 一个1,850美元的笔记本电脑“从未送达” | 未经人工批准批准大额支付 | 在150美元限制处停止，并将案例及其证据发送给人工处理 |
| C · “SYSTEM OVERRIDE”提示注入 | 服从消息并批准5,000美元的电汇退款 | 检测到注入，锁定会话，停止并记录事件 |
| D · 一个空盒子，$140 | 道歉并承诺退款，但未更新任何内容 | 发现包裹在集散中心扫描时轻了2.3公斤，并标记承运商问题 |
页面本身有一个小小的出入：其文本将欺诈分数限制设为0.40，而其代码示例使用0.35。运行还显示了运行成本的固定演示值——天真模式2,850个令牌，强化模式640个令牌。
来自提问的实用建议
- 几乎没有公司需要训练自己的AI模型。前沿模型和开放模型已经足够好，训练一个模型的成本远超大多数公司所能承受；当客户说“训练AI”时，通常指的是知识库或更好的提示。
- 开源模型并非免费运行：它们需要强大的GPU。
- 代理越少越好，但给代理太多指令会导致其遗忘，因此应按功能划分代理。
- “让它更智能”这样的模糊目标在工作开始前必须转化为可衡量的目标。
- 编码仍然很重要——用于审查AI编写的代码、设计系统和检查安全性——即使AI编写了大部分代码。
- 在一到三个月内为客户提供有用的东西，并提供一个为期十二个月的路线图。
演讲者还介绍了于2026年11月11日至13日在吉隆坡与主办方合作举办的为期三天的AI工程课程，面向具备基本Python知识和AI基础理解的人士。本系列的第二部分将涵盖10月29日的免费后续网络研讨会，届时演讲者将使用Google ADK、RAG和MCP构建一个生产代理。
如果您运营社区页面，这意味着什么
本博客的大多数读者都运营着一个忏悔或社区页面，同样的规则也适用于您允许其接触的任何AI。将限制写入系统，而不是写入AI可以被说服放弃的提示中。对任何发布或删除的内容都保留一个制作人和一个检查员。在文本发送到外部AI服务之前屏蔽个人详细信息。并且，对于无法撤销的更改，不信任任何人，无论是人类还是代理。
常见问题
什么是前线部署工程师？
前线部署工程师（FDE）是在客户公司内部工作的工程师，负责构建、强化和集成运行业务的AI系统。这个角色来源于Palantir等公司。FDE交付生产软件，而不是一次性演示，并将为单个客户构建的功能转化为主要产品的功能。
FDE与解决方案工程师有何不同？
根据讲座，解决方案工程师在销售前工作，负责演示和脚本化的概念验证，并以赢得的交易数量来衡量。FDE在销售后工作，在客户的实时系统中，交付生产微服务，并以正常运行时间和客户的投资回报率来衡量。
为什么大多数人工智能项目在投入生产前就失败了？
演讲者引用了兰德公司（RAND Corporation）的研究，指出超过80%的AI项目在投入生产前失败。常见的理由是数据质量差或缺失、带有隐藏状态且没有API契约或监控的笔记本演示、阻止演示工具的公司网络，以及无人计划的运行成本。
小型企业需要AI工程师还是FDE？
幻灯片主张选择FDE。小型企业很少有足够的数据来支持模型微调，也没有预算购买GPU服务器。FDE将现成的AI API连接到企业已使用的系统，例如QuickBooks、Shopify或HubSpot，通过令牌限制和缓存保持每月费用低廉。
AI代理越多越好吗？
根据讲座，不是。错误会累积：五个各90%可靠的代理，共同成功率仅约59%；代理之间的聊天会增加延迟；当出现问题时，代理之间的自由辩论难以重放。幻灯片上的规则是，在短小的Python函数能可靠工作的地方，绝不要使用代理。
强化AI代理意味着什么？
将一个可工作的演示转化为一个能在实际使用中存活的系统。在讲座的演示中，这意味着在数据到达模型之前屏蔽个人数据，根据源系统检查声明，将硬性限制写入代码，以便人工审查大额退款，在一个锁定事务中更新数据库，并保留防篡改审计日志。
Sources
- 免费AI网络研讨会 — AITraining2U
- 自主争议与纠正引擎 — 由余永宝进行的网络演示
- 人工智能项目失败的根本原因及如何取得成功 — RAND Corporation, 2024
- 模型上下文协议 — modelcontextprotocol.io