t0moon/competitorsmart/47-llm-building-llms

LLM开发

何时使用此技能

当你需要：

• 使用LLM构建产品或功能
• 优化提示工程以提升模型性能
• 理解模型训练中的数据质量问题
• 评估LLM工具在开发中的应用

核心原则

1. 提示工程仍然关键

尽管反复有人声称提示工程将过时，但它仍然是从模型中获得高性能的关键技能。好的提示和坏的提示可以造成0%到90%的性能差异。

2. 数据质量决定模型行为

模型训练更像艺术而非科学，高质量数据是最重要的因素。通过识别冲突数据来调试模型行为。

3. 编程从手写代码到操作机器

编程正在从手动编写代码转向操作和监督AI系统，专注于系统思维和架构约束。

专家洞察

Sander Schulhoff

"研究表明，使用糟糕的提示可以让你在问题上降到0%，而好的提示可以让你提升到90%。人们总是说'它死了'或'下一个模型版本它就会死'，但模型出来了，它并没有死。"

核心洞察：尽管反复有人声称提示工程将过时，但它仍然是从模型中获得高性能的关键技能。

如何应用：

• 不要假设更新的模型会消除对提示技能的需求
• 关注"人工社交智能"——理解如何有效地与AI沟通

Karina Nguyen

"模型训练更像艺术而非科学。在很多方面，我们作为模型训练者非常关注数据质量。数据质量是模型训练中最重要的事情之一，比如你如何确保你想要创建的特定交互模型行为有最高质量的数据？但是..."

核心洞察：模型训练需要关注高质量数据和类似传统软件工程的调试思维。

如何应用：

• 通过识别冲突数据（如"你没有身体"vs"设置闹钟"）导致模型混乱的地方来调试模型

Dan Shipper

"我认为人们真的低估了Claude Code对非程序员有多好用...它可以访问你的文件系统，它知道如何使用任何终端命令，它知道如何浏览网页...你可以给它一个任务，它会运行20或30分钟然后完成..."

核心洞察：像Claude Code这样的命令行AI代理是被严重低估的工具，非技术用户可以用它执行复杂的自主文件处理和研究任务。

如何应用：

• 使用Claude Code处理大量会议笔记，识别如冲突规避等微妙模式
• 下载公共领域文本，让AI分析特定写作风格并创建角色描述指南

Logan Kilpatrick

"我认为工程实际上是你今天可以使用AI做的最高杠杆的事情之一，真正释放了，至少50%的改进，特别是对于一些较低难度的软件工程任务。"

核心洞察：AI通过自动化常规任务在软件工程中提供最高的即时投资回报率。

如何应用：

• 使用LLM处理"低垂果实"编码任务，实现高达50%的效率提升
• 利用GitHub Copilot或ChatGPT等工具加速发布周期

Bret Taylor

"我认为创建软件的行为将从在终端中打字...转变为操作代码生成机器。"

核心洞察：编程正在从手动编写语法转向高层次的AI系统操作和监督。

如何应用：

• 专注于系统思维和架构约束，而非死记语法

常见错误

• 假设新模型会让提示工程过时
• 忽视数据质量对模型行为的影响
• 低估非程序员使用AI编程工具的潜力
• 继续关注语法细节而非系统架构

关键战术

相关技能

• [[46-AI产品策略-ai-strategy|AI产品策略]]
• [[48-技术评估-evaluating-tech|技术评估]]
• [[49-平台策略-platform-strategy|平台策略]]
• [[50-氛围编程-vibe-coding|氛围编程]]