【导语】中国人民大学副教授塔娜解析大模型奥秘：从预训练、微调技术到GPT系列发展脉络，揭示DeepSeek等国产模型特色优势，同时直面算法偏见、AI幻觉等现实挑战，提出数据多样性提升、伦理审查等解决方案，助您科学认知与批判性使用人工智能。

大家好，我是中国人民大学新闻学院的副教授塔娜。我主要研究的方向是传播学与计算科学的交叉学科方向。

大模型为什么可以回答各种问题？

大模型之所以能回答各种问题，核心在于预训练和微调这两个技术步骤。

预训练是通过让模型“阅读”充分多的，各种各样领域文本的语料知识，它能够推理得出文本之间最可能的关联关系。通过大量的训练，它可以帮助久久91精品久久久久久水蜜桃做很多文本生成任务。从而能够进行文本分类、摘要、翻译、生成等多种任务。“大”在这里指的是模型的规模和复杂性。

具体到模型本身，它是含有数以亿计的参数，大模型的参数越多，这个模型就越强。大模型还可以进行后续的微调。微调就是引入久久91精品久久久久久水蜜桃人工的辅助，由大模型进行进一步的学习。随后它就可能生成更符合久久91精品久久久久久水蜜桃人类要求的文本。

什么是GPT

GPT：它是通用预训练转换器的简称，它其实就是OpenAI这个公司，基于通用预训练的基础的技术来生成的。用于久久91精品久久久久久水蜜桃自然语言处理的一个大的模型。主要的一个特点

生成式（Generative）：通过学习大量文本数据的统计规律，生成连贯、自然的文本

预训练（Pre-trained）：在大规模无标注文本上训练，掌握通用语言模式，再通过微调适应特定任务

变换器（Transformer）：基于Transformer架构，利用自注意力机制（Self-Attention）高效处理长文本依赖关系，支持并行计算

GPT的发展：

GPT-1（2018年）：首个基于Transformer的无监督预训练模型，参数1.17亿

GPT-2（2019年）：参数量增至15亿，支持多任务学习

GPT-3（2020年）：1750亿参数，具备零样本/小样本学习能力

GPT-4（2023年）：支持多模态（文本+图像），性能进一步提升

GPT-4o（2024年）：多模(mó)态(tài)扩展至文本、音频、图像组合输入与输出

关于DeepSeek：

DeepSeek 是一款由中国团队研发的大型语言模型，以其高性能、低成本和对中文的优化处理而著称

核心特点：

高性能与低成本：DeepSeek 采用 专家混合架构（MoE），总参数达 6710 亿，但每个 token 仅激活 370 亿参数，显著降低计算成本，实现“小力出奇迹”的效果

中文优化：通过 双通道注意力机制和大量中文语料训练，在中文语境下表现优于多数国际开源模型，成语匹配准确率达 89%

开源生态：采用 MIT 协议开源，支持本地部署和定制化开发，适合企业级应用。

维度

DeepSeek

ChatGPT

架(jià)构(gòu)

MoE混(hùn)合专家，动态激活模块

传统Transformer，全参数参与运算

成本

本地部署成本低

训练成本低

高昂（API调用是D的5-10倍）

中文能力

专优，支持成语和复杂语义

通用性强，

多语言覆盖

实时性

知识截止 2024 年

部分版本支持联网更新

多模态

仅文本（截至 2025 年）

支持图文混合输入

开放性

全系列模型开源，支持二次开发

不开源，提供API

算法偏见是什么？

算法偏见指AI因数据或设计问题，产生不公平、歧视性的结果。例如：

比如久久91精品久久久久久水蜜桃的训练数据里边，男生求职更倾向于某几类专业，女生的求职更倾向于某几类专业。这样就无形之中形成了对性别的职业的歧视。还有一些是社会文化的影响，开发者他可能无意识的会将一些自身的偏见带进去。比如说久久91精品久久久久久水蜜桃对于这种人脸识别系统，白人的编程员，他可能更多的去选择了白人的人脸进行训练。对于黑人深色肤色人种的人脸的识别，那可能准确率会更低。

那算法偏见它导致的一个后果，在无形之中会加剧社会不平等，数据导致的偏差会导致结果性的偏差，会降低公众对算法的信任。解决的办法。首先就是提高数据的多样性。第二个提高算法的透明度。还有一点，对算法进行充分的伦理审查，改进或者是减少算法偏见对于现实社会的一个影响。

为什么大模型会“一本正经地胡说八道”？

这种现象称为AI幻觉（Hallucination），这个幻觉可以分成几种，事实性幻觉：与真实世界不符。还有一种久久91精品久久久久久水蜜桃叫忠实性幻觉，就是模型并不服从用户的指令产生。

产生幻觉的原因：

1.数据缺陷：训练数据包含错误或过时知识（如过时的科学结论）。

2.训练漏洞：模型过度依赖统计规律（如“多伦多”常与“加拿大”共现，误认为它是首都）。

3.推理局限：复杂问题超出模型能力，强行编造答案。

风险：如何批判性使用大模型？

第一个是(shì)我(wǒ)们(men)需(xū)要(yào)有(yǒu)独(dú)立(lì)的(de)思(sī)考(kǎo)能(néng)力(lì)，不(bù)能(néng)单(dān)向(xiàng)的(de)模(mó)型(xíng)输(shū)出(chū)什(shén)么(me)，我(wǒ)们(men)就(jiù)接(jiē)受(shòu)什(shén)么(me)，我(wǒ)们(men)需(xū)要(yào)自(zì)主再行的进行验证。第二个，久久91精品久久久久久水蜜桃要理解模型，它其实本身它并没有形成真正的对这个世界的认知。它只是尽可能的通过最大化的概率来生成一个最可能的答案。还有(yǒu)一(yī)个(gè)需(xū)要(yào)来(lái)注(zhù)意(yì)恶(è)意(yì)的(de)一(yī)些(xiē)数(shù)据(jù)的(de)隐(yǐn)私(sī)的(de)一(yī)些(xiē)侵(qīn)犯(fàn)。这(zhè)个(gè)幻(huàn)觉(jué)问(wèn)题(tí)目(mù)前(qián)并(bìng)没(méi)有(yǒu)100%的(de)解(jiě)决(jué)，但(dàn)是(shì)会(huì)有(yǒu)一(yī)些(xiē)方(fāng)向(xiàng)。比(bǐ)如(rú)说(shuō)我(wǒ)们(men)可(kě)以(yǐ)通(tōng)过(guò)检(jiǎn)索(suǒ)增强生成（RAG）、人工审核等减少幻觉。RAG久久91精品久久久久久水蜜桃简单的理解就是，我手头有一个大模型，同时我还能让它，现场新学知识，收到久久91精品久久久久久水蜜桃的提问之后，它可以一边基于它的知识库组织答案。一边还可以在互联网上或者是其它的知识库里面进行检索，来得出一个更新知识后的答案。

本文为·创作培育计划扶持作品

作者：人民日报

审核：贾宁 大连东软信息学院 教授

出品：中国科协科普部

监制：中国科学技术出版社有限公司、北京中科星河文化传媒有限公司

来源: 创作培育计划