义乌小商品城基于MaxFrame AI Function的亿级AI 数据产线提速之路

业务背景

义乌国际商贸城是全球最大的小商品批发市场，商品种类超210万，覆盖26大类，日均客流20万以上，产品出口至200多个国家和地区。

"世界义乌APP"作为义乌小商品城集团的核心数字化平台，正在构建垂直领域大模型，以实现商品智能分类、多语言描述生成、图文搜索推荐等AI能力。模型训练对高质量、大规模的标注数据有持续需求，但义乌的数据现实带来了显著挑战：

● 商品图片总量达亿级，且来源分散（电商平台、商铺实拍、直播切片、供应商图库），格式和质量参差不齐；

● 缺乏统一的元数据标注体系，传统人工分类和外包标注无法满足大模型训练所需的数据产出速度；

● 模型迭代周期被数据准备环节卡住，从"有数据"到"能训练"的链路耗时以周计。

在此背景下，义乌团队选择基于 MaxFrame AI Function 构建自动化AI数据产线，将大模型能力直接嵌入数据处理流程。

技术挑战

在引入 MaxFrame AI Function 之前，义乌团队尝试过自建大模型调用链路，主要面临以下问题：

1）大规模调用的工程复杂度高

对亿级图片逐条调用大模型做分类/打标/描述生成，需要自行实现数据分片、并发管理、失败重试、结果回填等逻辑。工程团队需要同时维护数据处理代码和模型调用代码两套体系，开发和调试成本高。

2）稳定性难以保障

大模型API存在TPM（Tokens Per Minute）和RPM（Requests Per Minute）限流。在百万级/日的调用量下，频繁触发限流导致任务中断，手动重试效率低且容易遗漏，缺乏系统化的流控和容错机制。

3）数据流与模型调用割裂

传统方案中，数据预处理（去重、过滤、格式转换）和模型调用（推理打标）是两个独立系统，中间需要通过落表/读表进行数据传递，链路长、排查难、端到端延迟大。

解决方案

义乌项目基于MaxCompute（MaxFrame）+ DataWorks  + PAI 构建了端到端的AI数据产线。其中 MaxFrame AI Function 承担了从"原始素材"到"可训练样本"的核心转化环节。

整体架构

MaxFrame AI Function 核心能力

模型接入

AI Function 内置接入阿里云百炼平台的主流大模型（Qwen系列文本/多模态模型等旗舰大模型），覆盖商品分类、属性提取、打标、多语言描述生成、图文向量化等场景，无需用户自建推理服务。

调用方式上，开发者在 MaxFrame DataFrame 中以算子形式直接调用模型：

from maxframe import dataframe as md

from maxframe.ai_function import text_llm

# 对商品图片批量调用百炼多模态模型进行分类打标

result = text_llm.generate(df, prompt=CLASSIFY_PROMPT, model="qwen3.6-plus")

引擎自动完成数据切分、并发派发和结果回填，开发者无需关心分布式调度细节。

流控与容错

针对大规模模型调用场景，AI Function 内置了完整的稳定性保障机制：

与数据流统一

AI Function 直接运行在 MaxFrame DataFrame 之上，与上游的数据预处理（过滤、去重、格式转换）和下游的样本入库、向量索引构建处于同一条 Pipeline 中。整条链路通过 DataWorks 统一调度，无需额外的数据搬运和系统对接。

实施成效

基于 MaxFrame AI Function 构建的AI数据产线上线后，核心指标表现如下：

相比改造前的方案，主要收益体现在三方面：

1.数据产出效率：自动化标注替代人工外包，数据供给速度与模型迭代节奏匹配，不再因数据等待拖慢模型训练周期。

2.工程复杂度降低：数据处理和模型调用统一为同一套代码，无需维护独立的推理服务和调度系统，新场景上线周期从周级缩短至天级。

3.大规模调用稳定性：50亿+ Token/日的调用量下，系统稳定运行无人工干预，限流和异常场景由引擎自动处理。

总结

义乌小商品市场通过 MaxFrame AI Function，将大模型能力以函数形式嵌入到数据处理 Pipeline 中，构建了覆盖数据预处理、模型推理、样本产出的全自动AI数据产线。该方案解决了大规模模型调用的工程复杂度和稳定性问题，使数据团队能够以较低的开发成本持续为模型训练提供高质量标注数据。

对于存在大规模数据标注、多模态样本生产、批量模型推理等需求的团队，MaxFrame AI Function 提供了一种将大模型能力融入现有数据链路的可行路径。