大语言模型时代的小语言模型综合调查：技术、增强、应用、与LLM的协作和可信度

这是一篇小型语言模型（SLMs）的全面综述，这些模型在大型语言模型（LLMs）时代中发挥着越来越重要的作用。论文首先定义了SLMs，并探讨了它们在资源受限环境、领域知识获取和隐私保护方面的优势。接着，详细介绍了构建SLMs的基础概念，包括模型架构、训练技术以及如何从LLMs中获取SLMs。还探讨了提升SLMs性能的高级策略，如知识蒸馏、量化和利用LLMs增强技术。

在应用方面，论文讨论了SLMs在多种自然语言处理任务中的使用情况，以及它们在移动和边缘设备上的部署策略。此外，还探讨了SLMs如何帮助解决LLMs面临的挑战，包括推理延迟、微调工作量和知识噪声敏感性等问题。关注了SLMs的可信任性问题，包括幻觉和隐私风险，并提供了评估这些模型的框架。

最后，论文提出了未来研究方向，包括开发高效的SLM模型架构、扩展领域特定的SLMs、建立SLMs的基准测试和排行榜平台、提升SLM性能和效率、SLMs在OOD、个性化和终身学习方面的应用，以及SLMs如何辅助LLMs。这篇综述旨在为研究人员和实践者提供一个关于SLMs的深入分析。

• 背景：随着大型语言模型（LLMs）在文本生成、问题回答和推理方面展现出的能力，它们在多个任务和领域中发挥着重要作用。然而，由于参数众多和计算需求高，LLMs面临隐私、实时应用和成本等方面的限制。

• 小型语言模型（SLMs）的优势：SLMs因其低延迟、成本效益、易于开发和定制而受到青睐，特别适用于资源受限环境和领域知识获取。

• 架构：SLMs通常采用基于Transformer的架构，优化计算效率和可扩展性。

• 训练技术：包括预训练、微调和解码策略，以提高模型在特定任务上的性能。

• 从LLMs获取SLMs：通过剪枝、知识蒸馏和量化等技术，将大型模型压缩为小型模型。

• 从头开始训练SLMs：采用创新的训练方法，如参数共享、数据构建和优化策略。

• 监督式微调：通过特定任务的数据和损失函数进行微调，以提高模型在特定任务上的表现。

• 知识蒸馏中的数据质量：使用高质量的数据生成，以提高SLMs的学习效率和性能。

• 增强SLM的性能：通过各种技术，如GKD、DistiLLM和Bit-level Inference Scaling Laws等，提升SLMs的性能。

• 任务特定的SLM应用：在问答、编码、推荐系统和网络搜索等领域的应用。

• SLM部署期间的技术：包括内存效率和计算效率的优化，以适应边缘设备的限制。

• 通用领域SLMs：概述了多个通用领域的SLMs，包括它们的参数、发布日期、许可证和训练技术。

• 特定领域SLMs：介绍了在医疗、科学、金融和法律等领域的SLMs。

• 可靠的LLM生成：使用SLMs校准LLMs的置信度，检测幻觉，并提高检索增强LLMs的性能。

• 提取LLM提示：使用SLMs从LLM输出中提取提示。

• 微调LLMs：使用SLMs生成特定任务的高质量数据，以辅助LLMs的微调。

• LLM应用中的SLM：在特定应用中使用SLMs来增强LLMs的性能。

• 评估LLMs：使用SLMs评估LLMs的输出，特别是在对话生成中。

• 隐私、鲁棒性、可靠性、安全性和公平性：探讨了SLMs在这些领域的研究，包括对抗性鲁棒性、分布外鲁棒性、毒性、错误信息、幻觉、奉承和隐私问题。

• 高效SLM模型架构的开发：探索新的模型架构，如Mamba，以提高效率。

• 扩展领域特定的SLMs：在更多领域开发专用的SLMs。

• 为SLMs建立基准测试和排行榜平台：为SLMs性能提供公正的比较。

• 提升SLM性能和效率：包括从LLM生成的数据中高效指导SLMs的指令调整，优化教师LLM选择，以及将LLM中的新兴技术应用于SLMs。

• SLMs的应用：在OOD、个性化和终身学习方面的应用。

• SLMs辅助LLMs：在更广泛的任务中整合SLMs以提升LLMs的性能。

• 可信任性SLMs：全面评估SLMs的可信任性，并开发提高SLMs可信任性的方法。

更多内容请阅读原论文：https://arxiv.org/abs/2411.03350