端侧模型和小模型的区别

9 个月前语言模型 186

01 端侧模型 vs 小模型

严格来说，“端侧模型”与“小模型”的概念并不能直接等同。

“小模型”通常指的是那些参数规模远少于GPT-3或Llama-13B的大语言模型，几个具有代表性的参数为1.5B、3B、7B等。

这些小模型虽然参数规模较少，但通过特定的设计和优化，仍然能够在某些任务上达到与大型模型相似的性能，从而降低计算资源消耗，提高能耗比。

“端侧模型”则通常指的是部署在手机、电脑、或其他移动设备、嵌入式系统等资源受限的设备上的模型，这些设备的计算资源（AI算力、内存等）往往不足以直接运行大型的预训练模型，同时对于端侧的能耗、发热等问题有着更为极致的要求。

因此，端侧模型需要特别设计以减少模型大小和模型架构，以便能够在端侧设备上高效运行。

其中，学术界关于小模型的技术研究较为深入，而产业界更注重端侧模型的工程化研究。

不过目前手机、PC等终端设备受限于计算资源问题，大多只能流畅运行小模型，因此大量相关研究都存在重合领域。本文内容对于两类模型均有所覆盖。

02 小模型三大技术流派

目前来看，全球关注度最高的小模型和端侧模型，仍要数Meta、微软、苹果分别与今年发布的Llama-3、Phi-3-mini、OpenELM/Apple Foundation Model。

从最底层技术架构上来说，Llama-3、Phi-3、OpenELM/Apple Foundation Model都采用了当前主流的、由GPT引领的Decoder-only Transformer架构。

同时，当前主流小模型也统一采用了“预训练Pre-train + 微调Fine-tune + 对齐Alignment”的模型训练思路。

03 端侧模型的竞争

而不久前的苹果WWDC大会上，苹果先是推出了端侧AI系统Apple Intelligence，随后又在技术博客中介绍了其自研的端侧3B小模型——性能全面超越主流7B大模型。

在更早之前的4月，则更是全球小模型和端侧模型“神仙打架”的月份。短短的一月之内，Meta、微软、苹果等集中发布Llama-3、Phi-3、OpenELM，对小模型和端侧模型产业带来极大冲击。如果把时间放宽到2024年上半年，则还有MobileLLM、Gemma-7B、Qwen-7B、MiniCPM、TinyLlama等一系列代表玩家。

手机厂商更是早早就杀入局中。在全球手机/PC市场保有量居高不下、用户换机周期高达51个月的当前，AI大模型无疑成为各大终端厂商全力押注之处。

从2023年下半年开始，华为、小米、OPPO、vivo、苹果、三星，以及产业链上的高通、联发科等都陆续推出手机AI大模型或手机AI大模型芯片。根据Counterpoint数据，仅在2024年第一季度，全球具有生成式AI功能的智能手机型号就从16个增加到30多个，AI手机销量占比从1.3%提高到6%。

大模型厂商、终端厂商、终端芯片厂商……小模型与端侧模型的兴起，已经逐渐成为产业共识。

来源：智猩猩AGI