自 LLM 用于辅助编码以来，Al 增强开发成为目前最具革命性的技术趋势，人类开发软件的方式正在发生根本性的变化。预计未来几年，世界上每一位工程师都会在 AI 辅助下进行开发，这是一个令人振奋和向往的技术浪潮，豆包 MarsCode 作为浪潮中的一份子，对AI Coding 技术在编码开发场景的落地有一些自己的见解。本次演讲我们将分享豆包 MarsCode 在 AI Coding 方向的实践和探索，探讨 AI 与编程工具如何深度融合以及我们对未来软件开发形态的展望。

演讲提纲

1. AI Coding 的演进史和发展趋势

2. AI 代码补全和 AI 问答的效果优化实践

• 代码补全关键指标 (CPO) 
  • CPO 的定义要素
  • 如何用 CPO 衡量代码补全的真实价值
•  代码补全核心实现架构
  • 如何降低 debounce，提升注释、补全的续写效果提高尝试率
  • 如何通过模型推理优化和网络、压缩等工程侧优化提升反馈速度
  • 如何通过推荐时机优化和模型训练提升采纳率
•  基于 CKG 优化 AI 代码知识问答效果实践

3. AI Coding 带给 IDE 的变革和工程实践

• AI IDE 核心三要素：AI 原生交互 + 随时随地开发 + 服务集成化
• 基于前后端分离实现 IDE 模块解耦划分
• IDE 性能优化：Rust 重构、通道复用、协议压缩、Web Component 化
• 云 IDE 秒级启动实践：基于 K8s 定制池化调度策略、存储热挂载、进程 HotReload

4. 未来 AI Coding 的展望

• 谈谈下一代的 AI Coding 技术
• 升级版 AI 代码编辑推荐 (补全 Pro) 和 AutoDebug 的产品化探索
• 未来软件开发趋势展望

实践痛点

1. 如何更好去优化 AI 代码补全，如何定义指标，如何从算法侧和工程侧如何综合去优化整个链路
2. AI Coding 新技术多且不算特别成熟，如何基于当下评估能力的可用性，做新技术的探索和落地
3. 云 IDE 如何做工程化落地 AI 给 IDE 带来的变革

演讲亮点

1. 字节跳动对于 AI 代码补全和 AI 问答的效果优化实践
2. 字节跳动对于 代码推荐 (补全 Pro)  和 AI AutoDebug 两类新 AI Coding 场景的技术探索和产品化落地探索
3. 业内 Top 级云 IDE 工程

听众收益

1. 了解目前 AI Coding 领域最前沿的行业动态和知识
2. 了解 MarsCode 在 AI 代码补全效果和 AI 问答效果的优化实践
3. 了解 AI 代码编辑推荐和 AI AutoDebug 两大即将普惠的 AI Coding 技术和对其在落地形态的思考和探索
4. 了解 MarsCode 在 AI IDE 领域关键工程技术和实践经验

1688 对接了大量的工厂类型商家，他们普遍存在供应链能力强但是线上运营能力较弱的问题，这类商家在网站上缺乏有效的方法论指导，电商经营的试错成本居高不下，导致流失率较高。如何通过 AI 技术帮助商家提升线上运营能力，从而提升商家的经营效果是一个具有挑战性的命题。本次分享将结合 1688 商家端的 AI 实战，介绍面向商家提供的 AI 智能化服务，包括咨询问答、 客户管理、 商品运营、经营计划等工作，以及业界领先的 AI 经营托管能力，并阐述相关的技术方案和踩坑经验。

演讲提纲

1. AI 应用的趋势洞察与判断

• 产业 AI 应用观察
• 商家 AI 产业应用深度定义和全景
• AI 2B 市场和客户画像分析

2. 商家 AI 场景的应用实战

• 各类 AI 技术在商家领域内的应用
• 图文 GC：隐藏在标题、图片里的坑
• 问答：多轮对话牵引商家行动
• 诊断归因：业界难题，我的流量为什么跌了

3. 商家 AI 托管模式探索

• AI 托管的几大障碍
• 核心技术架构和关键技术点
• AI 经营计划的版本升级
• AgentSwarm 模式如何工作
• 巧用营销模型让商家 AI 价值最大化

4. 未来商家域 AI 的空间和路线

实践痛点

• 大模型当前的知识储备和推理能力依然不足，很多命题必须通过 LLM+DL+ML+ 工程方案求解
• Agent是个美好的概念，但是落地过程中有诸多水土不服，需要重新认识

演讲亮点

• 业内领先的 AI 经营托管的技术，通过经营计划的一揽子方案接管商家的线上经营，并取得不错的业务结果
• 在 RAG 应用、AI 归因分析、AgentSwarm 模式等方面有一定的探索和结果

听众收益

• 了解商家端 AI 应用全景和阿里体系商家 AI 探索路径
• 了解各类 AI 技术在商家端业务里的坑以及常见商家端问题的解法
• 了解 AI 托管的模式创新、问题和解法思路

随着人工智能技术的蓬勃发展，AI Agent 作为智能服务的关键载体正深刻影响着各行各业。本次演讲，我将以“文心智能体”平台的智能体开发实战为蓝本，深入剖析 AI Agent 从理论到实践的构建过程；同时，结合“旅游 AI 助手”的分发实践，探讨 AI Agent 在多样化市场中的高效、安全分发策略。通过这两个具体案例，结合最新的开发工具、框架及最佳实践，揭示 AI Agent 在提升服务效率、优化用户体验方面的独特价值。此外，我们还将直面数据安全、性能优化、跨平台兼容等核心挑战，提出切实可行的解决方案，为听众呈现一场既具深度又具实用性的 AI Agent 开发与分发盛宴。

演讲提纲

1. 引言

• Agent 技术背景与定义
• 演讲目的与结构概述

2. Agent 开发实战（文心智能体）

• Agent 应用理论基础
• 技术选型与架构设计：构建高效能 Agent 的基石
• 文心智能体的特点与应用效果

3. 分发模式创新（以旅游 Agent 为例）

• 分发策略设计：质量评估、用户体验优化与反馈机制
• 实战案例分析：旅游领域的 Agent 分发实践，包括市场定位、渠道选择、用户反馈等
• 分发成效评估：市场反响、用户满意度、业务增长等关键指标

4. 核心难点与挑战及解法建议

• 数据安全与隐私保护：挑战分析、现有策略与未来展望
• 跨平台兼容性与标准化问题：现状剖析、解决方案与标准化路径
• 实战中的其他挑战与应对策略分享

5. 总结与展望

• Agent 应用研发与分发实践的关键点回顾
• 未来发展趋势预测：技术革新、市场变化与用户需求
• 鼓励行业交流与合作，共同推动 AI Agent 技术的持续进步

实践痛点

• 数据安全与隐私保护：如何确保 Agent 应用的数据安全与隐私保护成为一大挑战
• 算法性能优化：随着应用场景的复杂化，如何提升 Agent 的算法性能，确保其实时性与准确性成为关键
• 跨平台兼容性与标准化问题：不同平台间的兼容性问题以及缺乏统一的标准框架，限制了 Agent 应用的广泛推广与应用

演讲亮点

• 探索最新的 Agent 应用开发范式
• 分享 Agent 应用设计和开发过程中的关键技术考虑，以及在实际应用中的成功案例

听众收益

• 深入理解 Agent 技术的理论基础与应用场景
• 掌握 Agent 应用的研发流程与分发策略
• 获得最新 Agent 应用领域的前沿知识和工具应用经验

酒店供应链运转过程中，存在大量非结构化数据，且分散在多个场景中。业务专家经常需要人工判断这些数据，使得人工成本大，且较难全量覆盖。 因此我们引入大模型技术，辅助各团队进行信息提取和结果自动标注。涉及商户、平台和用户的运营多个模块。 输入端特性种类多，范围广，内容杂，有酒店行业术语，样本量大且长短不一，内容差异大，口语化表达，标记数据少，且需要较高准确率。输出端特性多样化，包括分类、小结、开放式原因和满意度等。 我们建设了轻量化的 Pipeline，用于满足大量历史数据的推理。在各个输出模块上达到了 85%~99% 的精确度。

演讲提纲

1. 背景

• 开源大模型的技术背景与发展趋势
• 酒店供应链领域的业务背景与痛点

2. 大模型供应链领域应用实践

• 解决问题：供应链领域在入库、运营和服务等各环节中存有大量文本数据，需要人工判断，效率低且很难全量覆盖。通过大模型进行分类、情感识别、智能小结和智能审核等，从而提升效率，及时发掘问题点
• 关键技术：
  • 通过大模型进行类别和描述的专业词汇改写，选出最相似的两个类别，并且让 LLM 修改类别名称、合并类别、删除类别，加入人工检视，进行循环，直至选出的样本满足独立性要求
  • 使用 Kate With Inaccurcies 构建提示样本，结合 COT、TOT、GOT 等提升推理能力，生成高质量知识
  • 使用轻量级大模型，结合 DSS、CROP 等蒸馏学习超大模型的知识，进行任务编排
• 落地效果：通过模型推理优化和模型蒸馏提升模型推理速度和效果的案例

3. 轻量级大模型线上部署应用的总结与思考

实践痛点

• 大模型的推理速度如何进行优化
• 如何评估大模型在特定领域的性能，如何定义评估指标来指导模型优化
• 大模型推理的badcase如何进行优化解决，如何对大模型进行定期地性能优化
• 如何更高效地部署轻量级大模型，并缩小轻量级大模型与超大模型之间的表现差异

演讲亮点

• 轻量级开源大模型在酒店供应链领域中的创新应用
• 文本智能提取的多场景化解决方案

听众收益

• 了解轻量级大模型在具体领域落地应用的探索经验
• 了解大模型在特定业务场景中的技术优化方案和具体部署能力

大模型技术日新月异，展现出更强的学习能力和更高的泛化能力，为众多 AI 应用开辟了新的视野。在实际应用中，Motiff 妙多设计工具尝试调用通用大模型来解决产品问题。虽然部分尝试取得了一定成效，但在涉及专业领域时，通用大模型往往显露出局限性。 本次演讲将以 UI 领域为例，介绍如何构建领域特定的多模态大模型，阐述相关技术方案和选型。同时，我们将探讨领域多模态大模型将为 UI 设计工具带来的新机遇与挑战。

演讲提纲

1. 通用大模型在 UI 设计领域的应用及痛点

• AI 生成设计系统
  • 通用大模型无法从专业的角度描述界面元素，比如：组件名称，icon 语义，模块名称等
• AI 生成 UI 设计稿
  • 通用大模型无法遵循 UI 领域的指令
  • 通用大模型无法将用户需求翻译成界面控件

2. 如何构建一个 UI 领域的多模态大模型

• 数据收集方法（亮点：less is more）
  • “less is more” vs “大力出奇迹”
  • 领域专家数据蒸馏
  • Prompt 工程
• 模型选择（亮点：适配 UI Screenshot）
  • 整合专家模型 vs 从头开始进行多模态训练
  • 视觉编码器
  • 大语言模型
  • Connector
• 训练策略（亮点：不仅仅是 SFT ）
  • 两阶段训练
  • 更多阶段训练

3. Motiff 妙多大模型赋能 UI 产品研发

• Icon 的理解不再局限于固定的类别，而是能够根据上下文的变化，动态地输出最贴切的语义描述
• 设计稿自动泛化到更多的场景，比如：编辑
• 快速验证更多更有趣的 UI 产品创意

4. Motiff 妙多大模型的机遇和挑战

• Zero/Few/Many Shots 带来的快速原型尝试
• 大模型在 UI 设计工具中的交互挑战

实践痛点

关于多模态大模型的领域迁移：因为实验成本较高，在构建领域模型的过程中很难做完备的消融实验。

演讲亮点

我们自研的 UI 多模态大模型在短时间内就在多个公开评测指标上超越了 Apple，赶上了 Google。尽管 Google 使用了 4 亿条训练数据，我们仅用 1000 万条就达到了相近的效果。

听众收益

• 多模态大模型前沿技术
• 多模态大模型如何做领域迁移