开云(中国)Kaiyun·官方网站 - 登录入口

序文： 网上对于大模子的著述也好多，然而王人不太容易看懂。小枣君今天试着写一篇，争取作念到阳春白雪。

鬼话未几说，咱们直入主题。

什么是大模子？

大模子，英文名叫 Large Model，大型模子。早期的时候，也叫 Foundation Model，基础模子。

大模子是一个简称。无缺的叫法，应该是"东说念主工智能预查察大模子"。 预查察，是一项技巧，咱们后头再证明。

咱们现时理论上常说的大模子，施行上专指大模子的其中一类，亦然用得最多的一类——话语大模子（Large Language Model，也叫谎言语模子，简称 LLM）。

除了话语大模子以外，还有视觉大模子、多模态大模子等。现时，包括扫数类别在内的大模子书册，被称为广义的大模子。而话语大模子，被称为狭义的大模子。

从骨子来说，大模子，是包含超大范围参数（频繁在十亿个以上）的神经齐集模子。

之前给众人科普东说念主工智能（联结）的时候，小枣君先容过，神经齐集是东说念主工智能边界现时最基础的筹商模子。它通过模拟大脑中神经元的献媚神志，概况从输入数据中学习并生成有效的输出。

这是一个全献媚神经齐集（每层神经元与下一层的扫数神经元王人有献媚），包括 1 个输入层，N 个荫藏层，1 个输出层。

大名鼎鼎的卷积神经齐集（CNN）、轮回神经齐集（RNN）、短永劫挂牵齐集（LSTM）以及 transformer 架构，王人属于神经齐集模子。

现时，业界大部分的大模子，王人收受了 transformer 架构。

刚才提到，大模子包含了超大范围参数。施行上，大模子的"大"，不仅是参数范围大，还包括：架构范围大、查察数据大、算力需求大。

以 OpenAI 公司的 GPT-3 为例。 这个大模子的荫藏层一共有 96 层，每层的神经元数目达到 2048 个。

扫数这个词架构的范围就很大（我可画不出来），神经元节点数目好多。

大模子的参数数目和神经元节点数有一定的关系。浅易来说，神经元节点数越多，参数也就越多。举例，GPT-3 的参数数目，轻佻是 1750 亿。

大模子的查察数据，亦然曲常渊博的。

相似以 GPT-3 为例，收受了 45TB 的文本数据进行查察。即即是清洗之后，也有 570GB。具体来说，包括 CC 数据集（4 千亿词）+WebText2（190 亿词）+BookCorpus（670 亿词）+ 维基百科（30 亿词），完全堪称海量。

终末是算力需求。

这个众人应该王人神话过，查察大模子，需要多半的 GPU 算卡资源。而且，每次查察，王人需要很长的时刻。

GPU 算卡

字据公开的数据高慢，查察 GPT-3 轻佻需要 3640PFLOP· 天（PetaFLOP·Days）。淌若收受 512 张英伟达的 A100 GPU（单卡算力 195 TFLOPS），轻佻需要 1 个月的时刻。查察过程中，未必候还会出现中断，施行时刻会更长。

一言以蔽之，大模子就是一个臆造的短小精悍，架构复杂、参数渊博、依赖海量数据，且相配烧钱。

比拟之下，参数较少（百万级以下）、层数较浅的模子，是小模子。小模子具有轻量级、高着力、易于部署等优点，适用于数据量较小、筹商资源有限的垂直边界场景。

大模子是何如查察出来的？

接下来，咱们了解一下大模子的查察过程。

众人王人知说念，大模子不错通过对海量数据的学习，接纳数据内部的"常识"。然后，再对常识进行诳骗，举例回报问题、创造内容等。

学习的过程，咱们称之为查察。诳骗的过程，则称之为推理。

查察，又分为预查察（Pre-trained）和微调（Fine tuning）两个要领。

预查察

在预查察时，咱们率先要选拔一个大模子框架，举例 transformer。然后，通过"投喂"前边说的海量数据，让大模子学习到通用的特征暗示。

那么，为什么大模子概况具有这样强盛的学习能力？为什么说它的参数越多，学习能力就越强？

咱们不错参考 MIT（麻省理工）公开课的一张图：

这张图是深度学习模子中一个神经元的结构图。

神经元的处理过程，其实就是一个函数筹商过程。算式中，x 是输入，y 是输出。预查察，就是通过 x 和 y，求解 W。W 是算式中的"权重（weights）"。

权重决定了输入特征对模子输出的影响进程。通过反复查察来赢得权重，这就是查察的真谛。

权重是最主要的参数类别之一。除了权重以外，还有另一个遑急的参数类别——偏置（biases）。

参数有好多种类

权重决定了输入信号对神经元的影响进程，而偏置则不错解析为神经元的"容忍度"，即神经元对输入信号的敏锐进程。

浅易来说，预查察的过程，就是通过对数据的输入和输出，去反复"推算"最合理的权重和偏置（也就是参数）。查察完成后，这些参数会被保存，以便模子的后续使用或部署。

参数越多，模子频繁概况学习到更复杂的格式和特征，从而在各式任务上露出出更强的性能。

咱们频繁会说大模子具有两个特征能力——线路能力和泛化能力。

当模子的查察数据和参数禁止扩大，直到达到一定的临界范围后，会露出出一些未能瞻望的、更复杂的能力和特色。模子概况从原始查察数据中，自动学习并发现新的、更高等次的特征和格式。这种能力，被称为"线路能力"。

"线路能力"，不错解析为大模子的脑子短暂"开窍"了，不再只是是复述常识，而是概况解析常识，而况概况发散想维。

泛化能力，是指大模子通过"投喂"海量数据，不错学习复杂的格式和特征，不错对未见过的数据作念出准确的瞻望。

浅易来说，就像董宇辉一样，书读得多了，有些书天然没读过，他也能瞎扯几句。

参数范围越来越大，天然能让大模子变得更强，然而也会带来更渊博的资源挥霍，致使可能加多"过拟合"的风险。

过拟合，是指模子对查察数据学习得过于精准，以至于它启动捕捉并反馈查察数据中的噪声和细节，而不是数据的总体趋势或规矩。说白了，就是大模子变成了"书呆子"，只会死记硬背，不肯意交融领略。

预查察所使用的数据，咱们也需要再说明一下。

预查察使用的数据，是海量的未标注数据（几十 TB）。

之是以使用未标注数据，是因为互联网上存在多半的此类数据，很容易获取。而标注数据（基本上靠东说念主肉标注）需要挥霍多半的时刻和钞票，成本太高。

预查察模子，不错通过无监督学习门径（如自编码器、生成挣扎齐集、掩码话语建模、对比学习等，众人不错另行了解），从未标注数据中，学习到数据的通用特征和暗示。

这些数据，也不是马虎网高下载得来的。扫数这个词数据需要经过收罗、清洗、脱敏和分类等过程。这样不错去除特别数据和空幻数据，还能删除心事数据，让数据愈加法式化，有益于后头的查察过程。

获取数据的神志，亦然各类化的。

淌若是个东说念主和学术霸术，不错通过一些官方论坛、开源数据库或者霸术机构获取。淌若是企业，既不错自行收罗和处理，也不错平直通过外部渠说念（市集上有稀奇的数据提供商）购买。

微调

预查察学习之后，咱们就得到了一个通用大模子。这种模子一般不行平直拿来用，因为它在完成特定任务时连续露出欠安。

这时，咱们需要对模子进行微调。

微调，是给大模子提供特定边界的标注数据集，对预查察的模子参数进行轻微的调整，让模子更好的完成特定任务。

行业数据类别

微调之后的大模子，不错称之为行业大模子。举例，通过基于金融证券数据集的微调，不错得到一个金融证券大模子。

淌若再基于更细分的专科边界进行微调，就是专科大模子（也叫垂直大模子）。

咱们不错把通用大模子解析为中小学生，行业大模子是大学本科生，专科大模子是霸术生。

微调阶段，由于数据量远小于预查察阶段，是以对算力需求小好多。

众人注释，对于大部分大模子厂商来说，他们一般只作念预查察，不作念微调。而对于行业客户来说，他们一般只作念微调，不作念预查察。

"预查察 + 微调"这种分阶段的大模子查察神志，不错幸免重迭的进入，揆时度势多半的筹商资源，权贵擢升大模子的查察着力和后果。

预查察和微调王人完成之后，需要对这个大模子进行评估。通过收受施行数据或模拟场景对大模子进行评估考证，说明大模子的性能、牢固性和准确性 ‌ 等是否允洽计划条款。

等评估和考证也完成，大模子基本上算是打变收效了。接下来，咱们不错部署这个大模子，将它用于推理任务。

换句话说，这时候的大模子也曾"定型"，参数不再变化，不错信得过启动干活了。

大模子的推理过程，就是咱们使用它的过程。通过发问、提供教唆词（Prompt），不错让大模子回报咱们的问题，或者按条款进行内容生成。

终末，画一张无缺的经过图：

大模子究竟有什么作用？

字据查察的数据类型和应用标的，咱们频繁会将大模子分为话语大模子（以文本数据进行查察）、音频大模子（以音频数据进行查察）、视觉大模子（以图像数据进行查察），以及多模态大模子（文本和图像王人有）。

话语大模子，擅长天然话语处理（NLP）边界，概况解析、生成和处理东说念主类话语，常用于文本内容创作（生成著述、诗歌、代码）、文件分析、节录汇总、机器翻译等场景。众人老练的 ChatGPT，就属于此类模子。

音频大模子，不错识别和分娩语音内容，常用于语音助手、语音客服、智能家居语音限定等场景。

视觉大模子，擅长筹商机视觉（CV）边界，不错识别、生成致使开发图像，常用于安防监控、自动驾驶、医学以及天文图像分析等场景。

多模态大模子，结合了 NLP 和 CV 的能力，通过整同一处理来自不同模态的信息（文本、图像、音频和视频等），不错处理跨边界的任务，举例文生图，文生视频、跨媒体搜索（通过上传图，搜索和图关系的笔墨形色）等。

本年以来，多模态大模子的崛起势头相配赫然，也曾成为行业关注的焦点。

淌若按护士用场景进行分类，那么类别就更多了，举例金融大模子、医疗大模子、法律大模子、讲授大模子、代码大模子、动力大模子、政务大模子、通讯大模子，等等。

举例金融大模子，不错用于风险管束、信用评估、往复监控、市集瞻望、协议审查、客户业绩等。功能和作用好多好多，不再赘述。

大模子的发展趋势？

放置 2024 年 3 月 25 日，中国 10 亿参数范围以上的大模子数目也曾跨越 100 个，堪称"百模大战"。

这些大模子的应用边界、参数范围各有不同，然而，背后王人是白茫茫的银子。

字据行业估测的数据，查察一个大模子，成本可能在几百万好意思元到上亿好意思元之间。举例，GPT-3 查察一次的成本，约为 140 万好意思元。Claude 3 模子的查察用度，高达约 1 亿好意思元。

如斯多的企业推出大模子，施行上亦然一种资源的浪费。

而且，大模子也分为开源大模子和闭源大模子。行业里有能力作念闭源大模子的企业，并不是好多。大部分的大模子，王人是基于开源大模子框架和技巧打造的，施行上是为了相投成本市集的需求，或者为了蹭热度。

行业里，现时仍有部分头部企业在死磕参数范围更大的超大模子（领稀有万亿到数千万亿个参数），举例 OpenAI、xAI 等。马斯克之前就在 X 平台通知，xAI 团队也曾收效启动了寰宇上最强盛的 AI 查察集群。该集群由 10 万块 H100 构成，主要用于 Grok 2 和 Grok 3 的查察和开发。

对于大部分企业来说，万卡和万亿参数其实也曾是个天花板了，再往上走的意愿不浓烈，钱包也不允许。

跟着行业逐渐趋于感性，现时众人的关注焦点，逐渐从"打造大模子"，变成"使用大模子"。何如将大模子进入具体应用，何如眩惑更多用户，何如通过大模子创造收入，成为各大厂商的头等任务。

大模子落地，就触及到能力"入"端（下千里到结尾）。是以，AI 手机、AI PC、具身智能的想法越来越火，成为新的发展热门。

以 AI 手机为例，像高通、联发科等芯片厂商，王人推出了具有更强 AI 算力的手机芯片。而 OPPO、vivo 等手机厂商，也在手机里内置了大模子，并推出了好多原生 AI 应用。

第三方 AI 应用的数目，就更无用说了。截止现时，字据行业数据高慢，具有 AI 功能的 APP 数目已达到 300 多万款。2024 年 6 月，AIGC 类 APP 的月活跃用户范围达 6170 万，同比增长 653%。

大模子入端，也带来了轻量化的趋势。为了在资源受限的开采上运行，大模子将通过剪枝、量化、蒸馏等技巧进行轻量化，保执性能的同期减少筹商资源需求。

大模子会带来哪些挑战？

大模子是一个好东西，概况帮咱们作念好多事情，省俭时刻，擢升着力。然而，大模子亦然一把双刃剑，会带来一些新的挑战。

率先，是影响休闲率。大模子所掀翻的 AI 东说念主工智能波浪，笃定会导致一些东说念主类职责岗亭被替代，进而导致休闲率高涨。

其次，是版权问题。大模子基于已稀有据进行学习。大模子生成的内容，尤其是用于文本、图像、音乐和视频创作，可能激发版权和常识产权问题。它天然匡助了创作，但也"援用"了东说念主类创作家的作品，界限难以诀别。旷日历久，可能打击东说念主类的原生创作认真。

第三，大模子可能激发算法偏见和不刚正。也就是说，查察数据中存在的偏差，会导致大模子学习到这些偏差，从而在瞻望和生成内容时露出出不刚正的举止。模子可能不测中强化社会上的刻板印象和偏见，举例性别、种族和宗教等方面的偏见。大模子生成的内容也可能被用于政事宣传和主管，影响选举和寰球公论。

第四，被用于不法。大模子不错生成传神的文本、图像、语音和视频，这些内容可能被用于诳骗、责难、空幻信息传播等坏心用途。

第五，能耗问题。大模子的查察和推理需要多半的筹商资源，这不仅加多了成本，还带来了巨大的碳排放。好多企业为了业绩于成本市集或跟风，盲目进行大模子查察，挥霍了多半的资源，也导致了无真谛的碳排放。

一言以蔽之，大模子在伦理、法律、社会和经济层面带来的胁迫和挑战照旧好多的，需要更多时刻进行探索和惩处。

好啦，以上就是今天著述的一说念内容，但愿对众人有所匡助！

本文来自微信公众号 "鲜枣课堂"（ID：xzclasscom）开yun体育网，作家：小枣君。