-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
京东618预售战报：人均购买预售商品数量同比增长超30%
5月26日消息，京东618预售战报显示，2023年5月23日晚8点预售开启，截至5月25日24点，人均购买预售商品数量同比增长超30%，县域及农村市场预售订单金额同比增长超40%。参与预售的消费者中，90后是主力人群，占比近70%，银发族参与人数增长最高...
互联网 2023-05-26 20:53:17 -
章泽天为京东站台，现身戛纳萧邦晚宴助力时尚奢侈品业务招商
5月25日消息，日前，章泽天现身戛纳，此行是受邀参加瑞士高级手表珠宝品牌萧邦在戛纳举办的晚宴，这也是章泽天为京东时尚奢侈品业务站台的最新动作。章泽天在社交媒体上晒出与萧邦联合总裁兼艺术总监卡罗琳·舍费尔的合照，恭喜其推出新品线，并感谢卡罗琳和团队的付出...
互联网 2023-05-25 09:47:55 -
亚马逊中国回应“关闭应用商店”：不影响任何业务运营
5月24日消息，亚马逊中国对“关闭应用商店”一事做出声明，称停止亚马逊应用商店服务不会影响任何目前亚马逊在中国的业务运营，包括亚马逊海外购，亚马逊全球开店及亚马逊中国官方网站Amazon.cn。以下是亚马逊中国声明全文：亚马逊应用商店是供用户下载用于安卓设备的游戏和移动应用程序的应用商店。停止亚马逊应用商店服务不会影响任何目前亚马逊在中国的业务运营，包括亚马逊海外购，亚马逊全球开店及亚马逊中国官方网站Amazon...
互联网 2023-05-24 10:13:42 -
美股周二：三大股指全线下跌，热门中概股普跌，阿里跌逾3%
5月24日消息，美国时间周二，美股收盘主要股指全线下跌，原因是美国白宫与国会就提高债务上限的谈判陷入僵局。道琼斯指数收于33055.51点，下跌231...
互联网 2023-05-24 08:19:06 -
京东云：全系产品支持与主流云厂商比价
5月23日消息，京东云宣布其全系核心产品参与比价，承诺，“买贵就赔”，其全系核心产品的官网列表价均低于特定云厂商官网对标的产品列表价格；实际成交单价将在特定云厂商实际成交最低单价的基础上再打九折。据京东云官网信息，本次比价活动涉及京东云全系核心产品，包含：计算、存储、网络、数据库、中间件、安全、视频服务、云电脑，是目前推出降价活动的云厂商中产品线最丰富的，涵盖产业客户上云、用云全链条的服务需求...
互联网 2023-05-23 19:49:06 -
京东618正式启动！京东：让利力度达到历史最高
5月22日消息，今日，京东正式启动“多快好省与沸腾烟火气”京东618。据京东介绍，今年京东618无论是在让利消费者的力度上，还是在让利合作伙伴的力度上，都达到了历史最高...
互联网 2023-05-22 17:49:43 -
微信支付发布“微信刷掌”：已接入北京轨道交通大兴机场线
5月22日消息，北京轨道交通大兴机场线刷掌乘车发布会宣布，北京轨道交通大兴机场线刷掌乘车服务正式上线。乘客通过注册开通刷掌乘车服务后，即可在该条地铁线路刷掌过闸乘车...
互联网 2023-05-22 12:32:22 -
抖音杀到了阿里京东家门口
前年以来，抖音迅速在电商、本地生活等赛道攻城略地，持续拓展业务边界。与之对应的是，淘宝、支付宝、拼多多甚至是近期的美团，开始上线更多“抖音化”的业务，从短视频到直播尝试更多内容场景。背后呈现的，不仅是抖音对于增量市场的抢夺，更是互联网用户不断改变的消费习惯。01、抖音货架电商含金量几何？过去一年，抖音在聚光灯下愈发“低调”，但它攻城略地的速度，却足以让所有大厂拉响最强的警报。5月16 日，抖音电商总裁魏雯雯在“抖音电商生态大会”上披露：过去一年，抖音电商GMV同比增长80%。这样的速度，已经成为了普遍深陷在滞涨苦恼中的电商行业的孤例。与之相对，在2022财年中，阿里与京东的GMV分别完成了8.3万亿和3...
智能设备 2023-05-21 01:40:10 -
荣耀90系列线下物料曝光：首发3840Hz零风险调光护眼屏
荣耀数字系列作为荣耀旗下的中端旗舰手机代表，受到了不少用户的关注。不久前，@荣耀手机 官方正式宣布，荣耀90系列将于5月29日14:30正式发布，号称“档位天花板”。荣耀90系列共包括两款机型，分别是荣耀90和荣耀90 Pro。据官方的预热显示，荣耀90系列将搭载全新的2亿像素写真相机。外观设计方面，结合官方公布的预热海报以及视频来看，荣耀90系列的两款机型在后壳的细节设计方面有所差异。其中荣耀90的后壳采用同一种工艺，后置相机模组延续了前作的圆形造型，内置三颗摄像头，并配有环形闪光灯；而荣耀90 Pro的后壳采用上下两种不同的工艺，机身下半部分采用类似钻石排列的方格造型，而相机模组也采用了不规则的造型设计，同样内置三颗摄像头以及环形闪光灯。除此之外，官方还没有公布荣耀90系列的其他更多信息。不过，此前荣耀旗下型号为REA-AN00和REP-AN00的两款新机通过了国家3C质量认证。认证信息显示，两款新机分别配备 66W 充电器和 100W 充电器。虽然认证信息中并没有显示这款设备的具体系列从属，但相关推测认为这两款新机对应的机型就是荣耀90和荣耀90 Pro。此外，目前网上曝光了荣耀90系列的线下物料，透露了新机的一些配置信息。结合图片来看，荣耀90将首发 3840Hz 零风险调光护眼屏，通过德国莱茵无频闪认证，仅在120Hz刷新率下生效。此外，荣耀 90 将搭载 2 亿像素超清大底主摄，内置 5000mAh 电池，搭载 MagicOS 7.1 操作系统。荣耀 90 Pro 则将搭载 2 亿像素超清主摄，还有3200 万像素长焦人像镜头；首发 3840Hz 零风险调光四曲屏；内置 5000mAh 电池，支持 90W 快充；搭载第一代骁龙 8+ 芯片，运行 MagicOS 7...
手机互联 2023-05-20 23:59:22 -
微软确认Win11存在“顽疾”：将硬盘识别为可移动媒体
IT之家 5 月 20 日消息，微软在近日发布的官方支持文档中，确认 Win11 系统同样存在古老的 SATA 问题，会将机械硬盘（HDD）或者固态硬盘（SSD）的盘符显示为可移动媒体。这个问题可以追溯到 Windows Vista 后续的版本，包括 Win7、Win8、Win8.1、Win10 和 Win11 都存在这个问题。IT之家附微软官方支持文档说明如下：原因设备是否被视为可移动取决于系统的 BIOS 以及它如何标记主板上的各种 SATA 端口。收件箱驱动程序直接检查 SATA 端口，并将连接到标记为“外部”的端口的设备视为可移动设备。并非所有存储驱动程序都会执行此操作，这可能会造成损坏或数据丢失。解决方法首先，检查并安装电脑制造商提供的 BIOS 更新。如果没有可用，可以按照以下步骤替代收件箱驱动程序在某些端口上显示设备的方式：1...
手机互联 2023-05-20 23:59:19 -
交行重庆市分行联合京东落地园区数字人民币应用场景项目
“去年我就开通了数字人民币钱包，但一直没使用过，今天在银行工作人员的指导下,用数币在京东买了一些电子产品，非常便捷。”在重庆永川长城汽车制造厂工作的李经理第一次使用数币网购后说道...
区块链 2023-05-17 17:33:46
