2025/04/13 20:21:27 3,557次浏览

文章转载于新智元

GPT-4.5出世一个多月，鲜有人知其背后研发故事。

今天凌晨， 奥特曼 与三位核心研究员在线开启播客对谈，首次揭开了GPT-4.5从愿景到现实的史诗级突破。

早在两年前，OpenAI团队定下了一个大胆的目标，打造一款比GPT-4聪明10倍的模型。

这不仅意味着LLM性能提升，更是对计算、数据、协作的极限挑战。

从左到右：奥特曼、Alex Paino、Amin Tootoonchian和Daniel Selsam

如今，OpenAI在2月底正式交卷，GPT-4.5情商堪称所有模型最强的，并再次Scaling无监督学习的边界。

这款「超级模型」究竟如何创造智能奇迹，全部浓缩在了这45分钟的圆桌对谈中。

一些精彩亮点：

GPT-4.5比GPT-4聪明10倍，研发用时2年，拥有上一代不具备的微妙「魔力」

训练GPT-4.5为OpenAI提供了宝贵的技术经验；现只需要大约5名员工，就可以从头开始训练GPT-4

算力基础设施和大规模GPU扩展带来的小概率问题会捅出大乱子

数据效率成为关键瓶颈，OpenAI下一个主要研究前沿是提高数据效率

「torch.sum bug」等趣事推动模型性能飞跃。

Scaling Law被验证为可能长期有效的「宇宙规律」

1

GPT-4.5聪明10倍

奥特曼开篇说，通常他们开这种会都是为了发布新产品，不过这次打算换个玩法，聊聊GPT-4.5开发背后的故事。

GPT-4.5推出后，用户对它的兴趣特别大，这大大超出了研发团队的预期。

他们首先从「一个巨型模型到底需要什么？」这个话题说起。

「一大堆人、一大把时间，还有海量的计算资源。」主要负责预训练数据的Alex回答说。

Alex表示，他们光是准备阶段就花了很多心思，至于正式的训练，「本身就是个超级大的工程」。

在实际训练中，研究团队经常得做选择：是推迟发布，等更多问题解决；还是早点上线，边跑边解决问题。

这是个平衡，不能让整个训练过程拖得太久。

他们谦虚地认为，对于效率更高的算法及以如何更好地利用现有数据，他们还只是「略知皮毛」。

在不久之前，我们还在受限于算力。但从GPT-4.5开始，我们更多地是处在一个受限于数据的环境里了。

他们说这是一个颠覆性的进展，「整个世界对此还没有充分认识到。」

两年前着手开发GPT-4.5时，他们的目标是比GPT-4聪明10倍。

现在，他们觉得自己达到了这个目标——至少在投入的有效算力下，GPT-4.5实现了比GPT-4聪明10倍的效果。

1

预训练的两个难题

不过，实际的训练时间还是比预想的要长不少。

这里面主要有两个问题。

一个是从1万个GPU增加到10万个GPU，问题会变得多得多。

尤其是一些提前没预料到的小概率问题，在大规模计算时会捅出大乱子。

最容易出问题的就是算力基础设施，由于他们的数据量实在是太大了，有些问题连硬件制造商都没遇见过。

网络架构、单个加速器，这些都会出问题。「我们的工作就是尽量把这些变量的波动降到最低。」

另一个问题是探索前沿科技这件事本身就很难。

在训练GPT-4.5时，OpenAI投入了几百人的努力，耗费了大量的时间，几乎是all in。

但如果他们现在重新训练一个GPT-4水平的模型，大概只需要5到10个人就可以搞定。

专注于数据效率和算法的Dan说，「我觉得做任何新东西都难。但是当你知道别人已经做成过某件事，难度就会大大降低」。

「因为最难的部分是下定决心去做一件事。知道某件事是可行的，简直就像开了挂，瞬间就容易多了。」

Dan接着表示，如果想要将训练规模再扩大10倍甚至是100倍，数据就会成为瓶颈，这时候就需要一些算法上的创新，让模型能用更多的算力从同样的数据里学到更多东西。

1

torch.sum bug趣事

研究团队在GPT-4.5的训练中，发现了一些特别有趣的事情。

比如，在训练过程中不断地优化机器学习算法，做出一些调整。

尤其是团队解决了一些关键问题后，他们看到了模型性能的大幅提升。

那一刻，整个团队的能量都不一样了，大家都特别兴奋，动力满满，要把最后阶段冲刺完成。

「那一刻真的很震撼。这对团队士气的提升，真的特别美妙。」

现场OpenAI的首席系统架构师Amin Chian分享了一个「torch.sum bug」趣事。

在训练过程中遇到bug是常事，通常是找一下到底是硬件故障、数据损坏，还是机器学习相关的Bug。

但在训练GPT-4.5时，有一次好几个问题一直都没有解决。

大家没办法就在一起讨论研究这些问题到底是由不同的Bug引起的，还是同一个Bug导致的。

他们围着桌子投票。结果呢？后来确定的那个Bug在当时得票最少！

就是个简单的「torch.sum」Bug，来自上游的PyTorch库，大家都觉得太不可思议了。

所有的问题都被这一行代码给解决了，真的特别有趣。

为了庆祝，他们还把Slack频道从「多Bug理论」改成了「单Bug理论」，那场面可热闹了。

这个Bug的触发频率特别低，可能每100步、1000步才出一次问题，特别容易被忽略。

但他们有条纪律，在训练过程中不能容忍这种问题出现。

整个过程就是一个坚持不放弃的故事。

1

压缩即智能

几十年来，深度学习的核心一直是提升算力效率。而且，每一次小的改进，都能带来显著的叠加效应。

世界上各地不同的人发现一个提升10%效率的技巧，另一个提出提升20%的优化，这些看似微小的进步累积起来，就能彻底改变模型的表现。

过去，因算力受限，数据效率的研究显得并不划算。但如今，数据效率每一次突破都将可能成为AI发展的临界点。

因此，现在就去预测AI会有瓶颈，有点不明智。

他们还认为更好的预训练和无监督学习能全面提升模型的智能，帮助模型更好地泛化，这一点跟现在模型的推理能力很是互补。

预训练本质上是在压缩数据。压缩数据意味着发现不同事物之间的联系、类比和抽象。而推理则针对某个具体问题，需要一种谨慎思考的技巧。

这种谨慎思考能解锁很多不同领域的问题，但预训练在跨领域压缩数据时，学到的是一种更抽象的东西。

为什么无监督学习会有效？研究员们的答案是「压缩」。

可以说，理想的智能形态就是所谓的「所罗门诺夫归纳」（Solomonov induction）。

简单来说，模型更倾向于简洁的解释。与此同时，它严格遵循贝叶斯原理，把所有可能性都记住，随时根据新信息更新自己的回答。

而他们现在做的预训练——或者说理解预训练的一个视角——就是在做这种「压缩」。

试图找到一个最短的程序（或者模型），来解释所有的数据，以此作为对理想智能的一种近似。

1

Scaling Law是宇宙法则

在播客的最后，奥特曼表示，训练GPT-4.5的整个过程，花了无数的人力、时间和金钱，其实可以看成是一场实验。

一场验证Scaling Law是不是还成立的实验。

结果他们发现，Scaling Law不仅有效，而且还可能会持续很长时间。

奥特曼说他接受Scaling Law就像接受量子力学一样，还不明白为什么Scaling Law会是一种宇宙的规律。

对此Dan试着解释说，模型数据压缩得越多，智能就越高，这个有很强的哲学依据。

他自己比较喜欢的一个解释是，世界上数据的「关键概念」是稀疏的，符合幂律分布（power law）。

比如，第100个重要的概念，可能在每100个文档里只出现一次。

也就是说数据有很强的「长尾效应」。

所以现实是，如果你想抓到「尾巴」里下一个重要的东西，可能得把算力和数据量翻个十倍。

而这个尾巴还很长，可以一直挖下去。

参考资料：

https://x.com/sama/status/1910363434241450171

https://www.youtube.com/watch?v=6nJZopACRuQ

点个 “爱心” ，再走吧

奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4
首页 > > 9人冒充印度人诈骗印度人被判刑
奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4

终于有人把大学专业讲清楚了

「活动」kumadaibiaotitest

9.93MB
版本V7.9.56
下载APK 高速下载
下载火影忍者小樱被❌羞羞漫画安装你想要的应用 更方便 更快捷 发现更多
喜欢 35%好评(77528人)
评论 99
奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4截图0 奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4截图1 奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4截图2 奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4截图3 奥特曼首揭GPT-4.5内幕，一个bug搞崩10万GPU！5人即可重训GPT-4截图4
详细信息
  • 软件大小: 61507.71933MB
  • 最后更新: 2025/04/13 20:21:27
  • 最新版本: V6.24084.8
  • 文件格式: apk
  • 应用分类:ios-Android 刻晴被❌🐻扒衣服
  • 使用语言: 中文
  • : 需要联网
  • 系统要求: 5.08810以上
应用介绍
一，玩弄小太正r18漫画，那滚烫的巨物撑开她的身体
二，🔯黄🔯色🔯视🔯频毛片，校花让我给她洗澡🌸情趣动漫
三，美女脱👙露出🐻吃我的🍌文,网站，司机在车里猛c白月
四，大尺度做爰床戏呻吟鞠婧祎，免费看美女㊙️隐私漫画
五，bdsm调教 — 视频 | VK，撕衣服动漫
六，女友跟黑人开宫受孕,好莱坞名人性视频泄露，マスターピース无删减动漫
七，医疗床价格一般是多少
【联系我们】
客服热线：134-2881-646
加载更多
版本更新
V7.2.05
男男互摸jiji时㊙️直播
  • 7277官方下载

    tube 67XXXXXHD

    原神3D黄漫涩涩18禁动漫网站

    71281.49MB
    105好评

    3D美女裸体被❌动漫

  • 董洁被躁视频无删减版

    少妇思春三A级

    虎白女粉嫩超清在线看免费

    79684.35MB
    074601好评

    日本❌㐅❌入籍❌霉霉

  • stars-927无码流出

    cos白丝被❌❌到流白浆在线

    调教警察(H)

    13.11MB
    313好评

    世上有几种BB

  • 爱莉希雅洁白双腿张开娇羞

    c乖乖女不许穿内裤h

    原神女角色死亡留全尸

    53.29MB
    275好评

    撕开👙吸奶头🍌

  • 动漫GAy男男GayGaygv

    Taylor Swift壁纸高清4k

    悠哲空洞探索指南

    71.71MB
    703好评

    小南带土展示完美身材

  • 亚洲男同Gay🔞戴套过程

    强摸18禁🈲视频视频

    极品名器特写一线天

    83.90MB
    339好评

    大胸女被c🔞黄㊙️❌蜡

  • 成人直播网站18免费

    美女跪床❌❌被🌿网站原神

    女王浓痰口水VK

    23.01MB
    102好评

    梅麻吕姉ち姝の性事情3d

  • 丼日语什么意思

    清纯的女职员HD

    女装汉服齐胸襟裙被C到喷水微电影

    50.11MB
    924好评

    黄霑年轻时候的照片

  • 鞠婧祎做爰猛烈潮喷了

    欧美激烈打扑克无遮挡

    动漫被爆❌羞羞视频网站在线观看

    83.86MB
    560好评

    祁煜在房间里🌿到腿软啊～

  • 亚洲AV㊙️片一区二区草莓成人

    美女被❌到高潮喷出白浆www网站

    R18XXXHentaicomic

    83.35MB
    759好评

    张起灵被强制灌药玩弄

  • 免费被❌黄真人网站在线国内

    金十四钗哪部最好

    美女光着屁股露出奶头的代码

    13.73MB
    7131好评

    掐死丝袜高跟美女视频

  • 全部都是99元一双的男鞋品牌

    谢小蒽白色旗袍的出处和背景

    女坐隐私㊙️黄www.

    17.30MB
    031好评

    男生小🐔🐔拥进女生🍑

  • 体内灌尿play尿便器男男

    沉浸式吃美食只露嘴巴

    亚洲成色WWW成人网

    65.55MB
    748好评

    丘咲エミリ无码加勒比

  • 历史证据有哪些

    斗罗大陆唐三被打

    军奴穿贞带调教H男男h

    54.40MB
    755好评

    打白嫩㊙️屁屁网站

  • 永劫无间顾清寒广寒仙

    羞羞色情Av视频免费登录网站

    丹恒被刃扔床上调教

    57.45MB
    685好评

    AI女友下载骚黄

  • 国产真人无遮挡无码污污在线观看

    91精品无码㊙️少妇

    xuanxuan最新电视剧

    24.36MB
    357好评

    动车痴汉漫画大全

  • 美女换衣裸体❌扒开腿有声音

    雷电将军刻晴行秋

    宋雨琦AI换脸忘忧草

    13.45MB
    316好评

    男人发在干嘛呢暗示什么

  • 耀斑花扒开腿做❌

    动漫❌奶头❌奶推裸体浴缸视频

    娇妻迎合黑人大属

    84.63MB
    211好评

    咒术回战冥冥的胸罩是什么颜色

  • 平均的日语

    拉菲庄园2012干红葡萄酒价格

    无遮挡🔞网站下载

    45.55MB
    735好评

    女人被狂躁c到高潮喷水正在观看

  • 丽晶美女无删节

    动漫女仆裸体㊙️无遮挡屁股

    妲己直播app1688TV

    10.50MB
    181好评

    雷电将军裸身被❌羞羞照片

  • 国产🔞在线观看免费

    cow.9.1免登录免实名

    brazzers порно720

    44.65MB
    365好评

    国产福利姬喷白浆流水小说

  • 美女巨胸爆乳🌸🌸🌸漫画

    少妇自慰喷水网站www

    巨大乳の超乳を揉んで

    91.71MB
    207好评

    spa女私密体验

  • XAX MANTA UZUN HAYA什么意思

    nfc在哪里打开

    番茄视频app永久地址入口

    30.94MB
    904好评

    国产婬妇❌❌❌❌視频网站1

  • 长满毛的男性生殖

    校草双性草开调教沉沦之路

    最娇小的av女星排名

    30.81MB
    549好评

    关晓彤高潮下不了床免费看

  • 美女露出全部隐私㊙️捆绑

    男女被❌到爽🔞流白浆黄

    免费エロマンガ♥网站

    29.90MB
    122好评

    杰克娘被打伤并抱走了

  • ♥同人♥本子♥芙莉莲

    游戏王杏子裸体图片

    成人免费毛片❌❌❌糖心视频

    70.32MB
    454好评

    剃毛穿环Sm调教

  • 女人穿三点式透明内衣好吗宵宫爆乳18禁🔞动漫视频 title="被男友摁住惩罚挠痒痒" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

    姉ちゃんに榨动漫在线观看

    松本メイ在线播放

    详情
  • 小马宝莉紫悦大肚生宝孑舒淇人体大尺度大胆私拍炮战 title="91PORNY丨首页❤" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

    原神❌18同人动漫

    免费🔞成人❌❌美女女懂色帝

    详情
  • 腊梅争春免费无遮挡🔞漫画樱桃 title="敖丙被哪吒扒开腿狂" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

    乌克兰士兵妻子把他背进婚礼

    哺乳授乳AVJux322

    详情

freeHD❌❌❌中国麻豆黑料 类似软件

猜你喜欢

相关攻略
包含 饿了么 的应用集
包含 饿了么 的应用集
评论
  • 91丨国产丨白浆㊙️高潮 0天前
    中国同性男男黄Gay网站
  • 捆绑㊙️裸妆视频调教 4天前
    17c.c-起草 官网
  • 温达穿女装被格雷打晕 5天前
    申鹤疯狂❌自慰爽18禁
  • 怎么弄睾丸才最舒服 6天前
    顺产分娩www网站
  • 三个美妇跪着用嘴含着洪荒猎艳录 8天前
    老板叫上班不让穿内裤
  • codm女角色裸体 8天前
    吞精XXXX18
  • 服部平次男Gay裸体自慰 0天前
    小丑愚人节皮肤
  • 国产色屁屁在线 7天前
    Ie炒菜姿势
  • 极品嫩模好爽在线啪视频 4天前
    艾达王被老鼠人电击
  • 还是叫渔火好了的微博 2天前
    老师用丝袜脚夹我好丝爽
日本大白兔黄页免费视频网站
柯俊雄和舒淇的第一次合作 -安卓手机网上最贴心的Android软件应用平台! 版权所有：牡丹生活 当前域名www.moonseo.com 蜀ICP备2023036221号-2