---
id: small-language-models
title: 小型语言模型（SLMs）全面综述
summary: 一份小型语言模型综述笔记，整理模型增强方法、资源受限场景、可信度以及与大模型的协作。
tags:
- AI
- 语言模型
publishedAt: 2026-11-05T06:56:17.250Z
updatedAt: 2026-11-05T06:56:17.250Z
originalPublishedAt: 2024-11-13T17:55:00+08:00
wechatUrl: https://mp.weixin.qq.com/s/mdqPdgvBgQAsJerKzYBMcQ
url: https://wuyanji.datiaomao.com/articles/small-language-models/
markdownUrl: https://wuyanji.datiaomao.com/articles/small-language-models/index.md
---
大语言模型时代的小语言模型综合调查：技术、增强、应用、与LLM的协作和可信度
这是一篇小型语言模型（SLMs）的全面综述，这些模型在大型语言模型（LLMs）时代中发挥着越来越重要的作用。论文首先定义了SLMs，并探讨了它们在资源受限环境、领域知识获取和隐私保护方面的优势。接着，详细介绍了构建SLMs的基础概念，包括模型架构、训练技术以及如何从LLMs中获取SLMs。还探讨了提升SLMs性能的高级策略，如知识蒸馏、量化和利用LLMs增强技术。
在应用方面，论文讨论了SLMs在多种自然语言处理任务中的使用情况，以及它们在移动和边缘设备上的部署策略。此外，还探讨了SLMs如何帮助解决LLMs面临的挑战，包括推理延迟、微调工作量和知识噪声敏感性等问题。关注了SLMs的可信任性问题，包括幻觉和隐私风险，并提供了评估这些模型的框架。
最后，论文提出了未来研究方向，包括开发高效的SLM模型架构、扩展领域特定的SLMs、建立SLMs的基准测试和排行榜平台、提升SLM性能和效率、SLMs在OOD、个性化和终身学习方面的应用，以及SLMs如何辅助LLMs。这篇综述旨在为研究人员和实践者提供一个关于SLMs的深入分析。
### 1\. 引言 (Introduction)
* 背景：随着大型语言模型（LLMs）在文本生成、问题回答和推理方面展现出的能力，它们在多个任务和领域中发挥着重要作用。然而，由于参数众多和计算需求高，LLMs面临隐私、实时应用和成本等方面的限制。
* 小型语言模型（SLMs）的优势：SLMs因其低延迟、成本效益、易于开发和定制而受到青睐，特别适用于资源受限环境和领域知识获取。
### 2\. 构建语言模型的基本概念 (Foundational Concepts in Building Language Models)
* 架构：SLMs通常采用基于Transformer的架构，优化计算效率和可扩展性。
* 训练技术：包括预训练、微调和解码策略，以提高模型在特定任务上的性能。
* 从LLMs获取SLMs：通过剪枝、知识蒸馏和量化等技术，将大型模型压缩为小型模型。
### 3\. 提升SLMs的性能 (Advanced Enhancement Strategies for Small Language Models)
* 从头开始训练SLMs：采用创新的训练方法，如参数共享、数据构建和优化策略。
* 监督式微调：通过特定任务的数据和损失函数进行微调，以提高模型在特定任务上的表现。
* 知识蒸馏中的数据质量：使用高质量的数据生成，以提高SLMs的学习效率和性能。
* 增强SLM的性能：通过各种技术，如GKD、DistiLLM和Bit-level Inference Scaling Laws等，提升SLMs的性能。
### 4\. SLMs的应用 (Applications of Small Language Models)
* 任务特定的SLM应用：在问答、编码、推荐系统和网络搜索等领域的应用。
* SLM部署期间的技术：包括内存效率和计算效率的优化，以适应边缘设备的限制。
### 5\. 通用领域、任务特定和领域特定的小型语言模型 (Generic, Task-Specific, and Domain-Specific Small Language Models)
* 通用领域SLMs：概述了多个通用领域的SLMs，包括它们的参数、发布日期、许可证和训练技术。
* 特定领域SLMs：介绍了在医疗、科学、金融和法律等领域的SLMs。
### 6\. SLMs辅助LLMs (SLMs for LLMs)
* 可靠的LLM生成：使用SLMs校准LLMs的置信度，检测幻觉，并提高检索增强LLMs的性能。
* 提取LLM提示：使用SLMs从LLM输出中提取提示。
* 微调LLMs：使用SLMs生成特定任务的高质量数据，以辅助LLMs的微调。
* LLM应用中的SLM：在特定应用中使用SLMs来增强LLMs的性能。
* 评估LLMs：使用SLMs评估LLMs的输出，特别是在对话生成中。
### 7\. SLMs的可信任性 (Trustworthiness in Small Language Models)
* 隐私、鲁棒性、可靠性、安全性和公平性：探讨了SLMs在这些领域的研究，包括对抗性鲁棒性、分布外鲁棒性、毒性、错误信息、幻觉、奉承和隐私问题。
### 8\. 未来方向 (Future Directions)
* 高效SLM模型架构的开发：探索新的模型架构，如Mamba，以提高效率。
* 扩展领域特定的SLMs：在更多领域开发专用的SLMs。
* 为SLMs建立基准测试和排行榜平台：为SLMs性能提供公正的比较。
* 提升SLM性能和效率：包括从LLM生成的数据中高效指导SLMs的指令调整，优化教师LLM选择，以及将LLM中的新兴技术应用于SLMs。
* SLMs的应用：在OOD、个性化和终身学习方面的应用。
* SLMs辅助LLMs：在更广泛的任务中整合SLMs以提升LLMs的性能。
* 可信任性SLMs：全面评估SLMs的可信任性，并开发提高SLMs可信任性的方法。
更多内容请阅读原论文：https://arxiv.org/abs/2411.03350