-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
索尼：持续加大在中国的研发投入，中短期聚焦娱乐（元宇宙）领域
5月24日消息，在Sony Expo 2023展前媒体发布会上，索尼（中国）有限公司副总裁，索尼中国研究院院长竹中干雄表示：“索尼中国研究院的使命是通过开展对前端技术的探索和应用, 为索尼业务和中国的社会发展做出贡献。我们于2005年在北京设立了第一个实验室，最近几年又设立了深圳和上海实验室，持续加大在中国的研发投入。”他提到，中国是一个高速发展和充满无限可能性的市场，并且人才济济，在中国做研发能够更贴近本土的实际需求、加快研发成果的概念验证，从而推动实际落地。“从中短期来看，我们会特别聚焦在中国的娱乐（元宇宙）领域，期待通过索尼的人工智能（AI）、通信、传感、机器人、3D内容制作等前端技术，结合索尼旗下影视、音乐、动画、游戏等丰富的娱乐内容，打造更'贴近人，感动人'的娱乐内容创作和欣赏解决方案。”本次Sony Expo 2023索尼中国研究院展台 ，设置“虚拟舞蹈实验室”体验区，参观者可以先进入绿幕拍摄区，拍下自己的真实三维形象，然后佩戴索尼的轻量级动作捕捉设备，跟着索尼大屏电视上的RAYNOS-chan卡通人物形象简单舞动，记录下自己的动作数据，经过索尼的系统生成加工后，最后就可以在索尼的空间现实显示屏上裸眼欣赏到自己的三维形象在3D空间中起舞。据悉，该项技术目前已经于索尼在华的首个黑彩晶虚拟制作影棚开始了概念验证实验，将有望帮助内容创作者甚至普通用户以更轻量级、更可及的方式创造虚拟3D内容，打破真实和虚拟的界限。“智能机械摄影室”体验区，参观者可以在一个由索尼虚拟制作技术打造出的《尼尔：机械纪元》游戏场景中近距离接触游戏主角尤尔哈B型二号（YoRHa No.2 Type B）。参观者可以选择心仪的游戏关卡背景，拍摄机器人可以自动追踪并记录下参观者与尤尔哈的影像并免费下载领取电子照片留念。拍摄机器人可智能化的完成追踪、对焦、构图、拍摄的功能，提供稳定的拍摄质量，极大节省人力。未来，索尼中国研究院还将进一步在该概念验证中加入可实时移动的中小屏背景，打造更加轻量级，小面积空间可实现的虚拟制作解决方案。“沉浸式触觉剧场”体验区，地板上搭载了索尼的触觉反馈技术，参观者可以与歌声同频共振，通过不同波形的震动效果感受演唱会中的高潮起伏，实现360音频，视频，触感多维一体的沉浸式娱乐体验。目前，触觉反馈技术已经应用于索尼的PlayStation 5游戏机的DualSense手柄、索尼Xperia智能手机的部分型号中，索尼中国研究院对该技术的应用开发则主要面向行业应用层面，尤其是在大型娱乐、体验型设施的应用，提供大型空间的沉浸式娱乐解决方案，现在已与国内部分合作伙伴在合作洽谈中。索尼中国研究院还将于Sony Expo 2023现场举办两场合作伙伴技术论坛，竹中干雄表示：“索尼的企业宗旨是‘用创意和科技的力量感动世界’，多元化的业务是我们独特的优势，而技术研发创新是根本的基石。立足长远，索尼中国研究院关注的领域将更为广泛，如可持续发展等，我们会进一步开放对外交流，强化中国本土的产学研合作，以期更加融入和贡献于中国的产业升级和社会发展。” ...
业界动态 2023-05-24 20:17:54 -
【独家】百度副总裁马杰离职，元宇宙业务“希壤”陷入边缘化危机
界面新闻记者 | 崔鹏据界面新闻了解，百度副总裁、百度“希壤”业务负责人马杰已经于近期离职，希壤团队虽并未解散，但前途目前并不明朗，部分人员已经转岗或离职。内部相关人士对界面新闻表示，元宇宙业务短期内难以看到好的商业模式，盈利能力较差，以及百度转向AIGC相关业务、不愿意向元宇宙业务投入更多资源，是希壤被边缘化的主要原因。截至发稿，百度对此消息未有回应。百度副总裁马杰百度希壤发布于2021年12月底，官方将其称为国内首个“国产元宇宙”产品，定位是跨越虚拟与现实、永久存续的多人互动空间。百度官方曾表示，2022年希壤落成超过120项元宇宙活动和空间，覆盖文旅、艺术、汽车和消费等超过20个领域。过去一年，希壤在提升元宇宙产品的研发效率和降低系统运营成本方面投入了比较多精力。今年1月初，百度刚发布希壤元宇宙底座MetaStack，将其称为全球首个独立元宇宙解决方案，能将原本需要6个月到一年的元宇宙开发周期缩短至40天。元宇宙是过去两年百度在各个场合曾重点提及的业务之一。2021年12月底，百度Create大会（AI开发者大会）就在百度搭建的元宇宙空间内举办，官方当时表态称，这是百度首次在国内以元宇宙形式举办科技大会。在那场大会上，百度在一座虚拟的Creator City（创造者之城）中公布了旗下人工智能和自动驾驶等核心业务的进展。随着百度进军元宇宙业务的声量越来越大，百度甚至在去年9月底召开过一场元宇宙歌会，并给它冠以“国内首档Web3.0沉浸式晚会”的名头，整合了希壤、数字人和数字藏品等web3...
智能设备 2023-05-19 11:51:47 -
抢占元宇宙先机，塑造实体产业发展！青岛打造国内领先、国际先进的虚拟现实产业高地
风口财经首席记者 娄花元宇宙是数字经济创新发展的重要新型载体，作为新一轮互联网大变局的核心，元宇宙可能重塑产业生态，形成与现实世界相对应的虚拟世界，是未来社会变革的重要力量。在展会现场观众的火爆体验，也印证了产业的未来...
区块链 2023-05-19 07:42:12 -
Meta高管：元宇宙能给职业教育带来“变革”可与AI共存而非被取代
5月17日消息，Facebook母公司Meta的高管们认为，元宇宙可以与生成式人工智能共存，并将给岗前培训和职业教育带来“变革”，而且Meta“可以两者兼顾”。Meta正在将元宇宙技术作为一种帮助培训员工的工具，以此来重振公众对元宇宙的兴趣...
业界动态 2023-05-17 08:09:29 -
新研究：2035年元宇宙将占到美国GDP的2.4%
5月10日消息，Facebook母公司Meta委托德勤开展的一项研究显示，到2035年，元宇宙将为美国国内生产总值(GDP)贡献7600亿美元，约占总量的2.4%。根据咨询公司德勤的报告，元宇宙概念包括增强现实和虚拟现实技术，可以让用户沉浸在虚拟世界中，或者在现实世界的图像之上叠加显示数字信息...
互联网 2023-05-10 07:23:59 -
ChatGPT等生成式AI兴起扎克伯格曾痴迷的元宇宙熄火了
5月9日消息，承诺让用户沉浸在虚拟世界中的元宇宙技术曾风靡一时。但随着ChatGPT等生成式人工智能技术的兴起，三年后元宇宙业务已经被商界所抛弃...
业界动态 2023-05-09 11:02:40 -
元宇宙新鲜事|英特尔停产比特币挖矿芯片系列微软宣布将把GPT-4用于医疗领域
今日新鲜事有：商汤王晓刚：智能汽车可以完成从人到车到AI模型的互动闭环财联社|元宇宙NEWS4月19日讯今日新鲜事有：英特尔停产比特币挖矿芯片系列英特尔声明称，该公司将停止生产其比特币挖矿芯片系列。英特尔发言人称：“由于优先考虑对IDM2.0战略的投资，我们已结束Blockscale1000系列ASIC（特定应用集成电路）的生产，同时我们将继续支持Blockscale的客户...
区块链 2023-04-20 21:03:15 -
马斯克：我开发新人工智能是为了理解宇宙本质
4月18日消息，特斯拉CEO埃隆·马斯克在接受采访时表示，他开启了一个新的人工智能项目，旨在理解宇宙本质。在某档电视节目中，马斯克透露他将推出一个名为TruthGPT的人工智能聊天机器人...
业界动态 2023-04-18 09:32:45 -
中国移联元宇宙产业委等联合发布行业提示：防止对类ChatGPT等生成式人工智能应用进行滥用
4月13日，中国移动通信联合会元宇宙产业工作委员会联合中国通信工业协会区块链专业委员会、中关村大数据产业联盟元宇宙智库委员会等，共同呼吁行业自律并对本机构委员单位作出行业提示，提出要严格遵守国家及行业相关法律法规要求，增强合规谨慎经营的理念，全面提高风险管控水平；提供生成式人工智能服务应当真实准确客观多样，应采取相应措施防止生成虚假信息，不得上传或留存含有侵犯知识产权的内容，防止对类ChatGPT等生成式人工智能应用进行滥用，避免扰乱健康市场秩序；承担保密责任，要对敏感信息加以严格保护，不上传涉及国家安全或行业涉密文件及数据，以及非公开的材料及数据，或系统的核心代码；要做到在为信息提供者在提供服务过程中，对用户输入的信息和使用记录承担保护义务，不得非法留存能够推断出用户身份的输入信息，不得向他人提供，不得损害其他使用者正当权利；应采取适当措施谨防用户过分依赖或沉迷生成内容，避免不正当的商业营销行为，杜绝违背商业道德、社会公德行为等。全文如下：关于元宇宙生成式人工智能（类ChatGPT）应用的行业提示各委员、相关机构:去年年底，OpenAI发布了NLP（自然语言识别）大模型产品ChatG...
区块链 2023-04-13 08:59:55 -
和三款飞机杯相处了48小时后，我仿佛看透了宇宙的答案
上周五，我还沉浸在《生化危机4重制版》发售的甜蜜美梦里。我的意思是，那可是《生化危机4重制版》，是那个里昂一脚能把7个王伯和3个张姨踢到脖子右拧的游戏，淦嘞试问谁看了不迷糊...
游戏资讯 2023-04-03 22:47:29 -
SE新社长：希望《最终幻想14》成为宇宙第一的游戏
在近期的直播活动上，SquareEnix新任社长桐生隆司表示自己是《最终幻想14》的忠实粉丝，经常与妻子一起玩。“《最终幻想14》已经是世界第一游戏了，而且，我希望它成为宇宙第一的游戏...
游戏资讯 2023-04-03 16:15:57
