《多模态大模型:算法、应用与微调》-刘兆峰
本书详尽地覆盖了多模态大模型的算法原理和应用实战,提供了丰富的微调技术细节和实际案例,适合对多模态大模型有兴趣的技术人员深入学习及应用。
本书分为两篇:算法原理篇 详细介绍了先进的深度学习模型,包括Transformer、GPT系列、深度生成模型,从基本架构、训练方法到特定应用,包括但不限于Seq2Seq结构、位置编码、注意力机制、残差连接、变分自编码器、GAN、ViT、CLIP、Stable Diffusion、各模型训练实践的知识点。此外,探讨了预训练模型的涌现能力、模型参数和通信数据量的估算,以及分布式训练的各种技术,如数据并行、模型并行和混合精度训练等。
应用实战篇 聚焦于深度学习模型的实际应用,特别是文本和图像生成,以及代码生成的应用实战。通过具体实战项目,如利用Stable Diffusion进行图像生成和Code Llama进行代码生成,提供了微调技术的详细细节,介绍了LangChain等大模型应用框架。