-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
爱奇艺奇遇：市面流传人事变动及其他不实信息，公司法务已介入处理
5月24日消息，今日有媒体消息称，去年5月，爱奇艺奇遇（梦想绽放的VR产品品牌）共同推出打卡返现活动，目前需要返现的金额约3000万元左右，可能处于无法支付状态。关于打卡返现问题，奇遇方面回应网易科技表示，“打卡返款活动自1月持续按批次正常返款至今...
互联网 2023-05-24 21:50:31 -
别瞎猜了，OPPO暂停造芯，没钱才是真的！
哲库关停，OPPO造芯失败，3年来投入的大量的人力、物力、财力都打了水漂。更严重的可能是，高举高打的OPPO造芯之路最后的结局，会给国内如火如荼的芯片行业泼一身冷水。有人说OPPO造芯失败是因为担心被美国制裁，也有人说是因为芯片制造太烧钱，OPPO的主营业务萎缩，已不足以支撑芯片研发这种需要大量烧钱的业务。到底是什么原因导致OPPO做出壮士断腕般的抉择呢？01 OPPO的造芯之路2020年，OPPO提出了马里亚纳、潘塔纳尔和安第斯三大计划，分别对应芯片、软件工程和云服务。也就是从2020年开始，OPPO的造芯计划正式启动。到2022年，OPPO已在其旗舰机型Find X5上首发搭载了马里亚纳X自研芯片的手机。到了2022年末，发布了第二款自研芯片，也是OPPO第一款SoC：马里亚纳Y。尽管马里亚纳Y还只是蓝牙SoC，但科技圈已经传出OPPO已经在研发自己的首款手机SoC。应该说OPPO造芯3年，取得的成绩已经非常不错了。对比华为、小米、OPPO三大国产手机厂商在造芯路上的成绩，OPPO绝对算得上是表现突出。小米曾投资上百亿研发出澎湃系列芯片，但因为其资金投入有限，技术底子薄弱等因素，澎湃芯片因为技术不过关，性能上不如高通，没有得到市场的认可。虽然小米没有承认澎湃芯片失败，但事实上已经被边缘化，小米自己都不怎么在自己的产品上使用，要外销赚钱就更加不可能了。02 哲库关停在哲库5月12日的全员大会上，CEO刘君怀着沉重的心情向全员宣布：“经过慎重讨论，公司决定关停哲库，终止芯片的自研业务。”5月12日的全员大会上，哲库CEO刘君怀着沉重的心情向全体员工宣布了一项艰难的决定，“经过审慎的讨论，公司决定关停哲库，终止芯片自研业务”。据内部人士说，哲库的解散十分突然，连很多总监级人员也是在解散大会的当天才知道公司关停的消息。但面对3000左右的员工，哲库给出的正式员工N+3的赔偿金还算是比较良心的。毕竟正如哲库CEO在全员大会上所说的那样，哲库的员工在公司解散这件事上并没有过错，只是因为公司的战略调整而做出的不得已的决定。03 是担心美国制裁吗？那么，OPPO造芯失败，真的是担心美国制裁吗？在我看来，这种可能很小。一是如果OPPO已经遭遇了美国政府施压，必然立即求助于政府。要知道，无论一个企业多强大，要和一个国家对抗，几乎是不可能的事情。之前中兴、华为、小米被美国打压时，都是第一时间向中国政府求助，寻求保护和帮助。OPPO没有向中国政府求助，说明OPPO还没有面临美国政府的施压，至少到现在为止还没有。二是以美国制裁中国企业的先例来看，不会事先制裁。换句话说，OPPO目前在芯片制造上取得的成绩，还不足以引起美国的重视，也不值得美国出手制裁。按照老美的习惯，即使要制裁，也是在OPPO投入了巨量资金，在某一领域已经取得了威胁本国企业地位的情况下，才会出手制裁。事后制裁相对于事前制裁，往往更狠。毕竟大量的资金投入，有可能就因为制裁打了水漂！对被制裁对象来说打击更大。所以，美国对中国科技企业的打压，往往不会做“扼杀在摇篮”里这事，而更多的是在企业走向成熟的路上，冷不丁的给上“一记闷棍”。三是美国企业要对OPPO断供，就更不可能发生了。要知道OPPO是高通的超级大客户，高通根本承担不起失去OPPO带来的打击。大家都知道OPPO和VIVO的关系，如果高通要对OPPO断供，就要先想好损失一加、OPPO、VIVO、Realme、IQOO这5个品牌客户的后果是什么？要知道这5个品牌加起来，可是占了全球手机份额的20%以上了。所以，总的来说，OPPO选择关停哲库，和担心美国制裁关系不大。04 OPPO缺钱了吗？OPPO缺钱肯定是真的。而且疫情三年，不仅OPPO缺钱，应该说所有的手机制造企业都缺钱。手机制造是一个利润低的行业。2022年小米全年营收2800亿，净利润只有85亿，净利率3%。OPPO作为非上市公司，不会公布财报，但参照全球手机的利润率来看，OPPO也不会比小米好到哪里去。而且，在2022年底，就有大量的OPPO员工反馈年终奖缩水。而在出货量和市场份额方面，2022年OPPO就严重下滑。据IDC发布的2022年3季度数据，OPPO全球市场出货量下滑了22%。在国内市场的表现上，更不尽人意，是国内TOP5厂商总降幅最大的一家，达到了27.9% 。在去年的双十一中，OPPO也是所有厂家中下降幅度最大的一家，天猫销量25万台（已经包括了一加），京东销量40万台，合计比2021年减少55万台，几乎已经是腰斩了。Counterpoint Research报告指出，2022年OPPO销量同比下降高达27%，远高于苹果的3%，Vivo的23%，小米的19%，以及同行业的平均降幅13...
手机互联 2023-05-19 08:49:35 -
MIUI升级Android14！小米13抢先刷机：不是毛坯走心了！
快科技5月12日讯，本周，基于Android 14 Beta1的MIUI 14开发预览版上线，首批支持小米13、小米13 Pro和小米平板6三款机型，目前刷机包和刷机教程已公布。有国内网友体验后发现，今年的公测版不再是原生安卓，而是MIUI ROM，不过，毕竟是开发者预览，很多本地化并未到位，另外，系统流畅度不高。其它变化还有，扩展内存功能无法使用，返回手势预览不可用、已用内存显示不正确等。此次小米13的版本号为MIUI 14 23.5...
手机互联 2023-05-13 09:34:49 -
价格不是问题iPhone14Pro成最畅销手机
苹果公司发布2023年第一季度财报，数据表现令人惊喜。据市场研究机构CIRP最新报告，苹果手机平均售价为988美元（约6837元人民币），同比增长12%，显示出其在高端市场的强势地位...
手机互联 2023-05-05 08:48:27 -
不让三星独美索尼1亿像素传感器来了：可惜不是1英寸大底
快科技4月23日消息，手机拍照传感器有2个技术方向，一个是高像素，一个大底，三星选择了前者，不仅推出了1亿像素，2亿像素的传感器都有了，而索尼选择了大底，1英寸大底传感器已经成为三大旗舰机标配。但是索尼的1英寸传感器IMX989只有5000万像素，相比1亿、2亿像素传感器在营销上是吃亏的，日前有消息称索尼也搞出了自己的1亿像素传感器（准确来时是1.08亿），型号为IMX802，但它不是1英寸大底，而是1/1.33英寸的...
手机互联 2023-04-24 08:35:24 -
苹果发布会定档，iOS17将至，快看看你的iPhone是不是被抛弃了
苹果公司宣布于今年的6月份举行发布会，届时将会推出最新的iOS17系统，这意味着很多iPhone用户可能将失去升级这一新版系统的机会。据悉，iOS17将只支持2020年及以后发布的iPhone型号，如果您的设备是旧款iPhone，那么您可能已经被抛弃了...
手机互联 2023-04-23 08:55:11 -
APUS创始人李涛：“中国人工智能落后绝不是两个月，起码两年以上”
文/闫妍4月18日，APUS发布自研多模态人工智能大模型“AiLMe”。AiLMe参数已达千亿规模，具备对文本、图像、视频、音频的理解和生成能力，并推出“智能问答大师、简笔成画、墨染、DailyAstro、StarNight、KJVBibleNow、PicPik”等系列AI产品...
互联网 2023-04-20 21:02:37 -
揭开OpenAI创业秘史，ChatGPT的真正推手原来是他
本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。揭秘真正的ChatGPT之父：OpenAI的秘密武器，谷歌没有的天才...
智能设备 2023-04-09 10:21:03 -
揭开OpenAI创业秘史，ChatGPT的真正推手原来是他
本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容，未经账号授权，禁止随意转载。揭秘真正的ChatGPT之父：OpenAI的秘密武器，谷歌没有的天才...
智能设备 2023-04-09 10:21:03 -
ChatGPT将打开「四天工作制」的大门，取代你的不是AI
不调休的清明节，将四天工作制的好处充分体现。放假的周三，就像一周里的午休时间，让周四上班的精神状态都好了大半...
智能设备 2023-04-09 10:20:51 -
美媒：别被AI的智能吓到，真正可怕之处是它被高估被滥用
4月5日消息，过去六个月以来，强大的人工智能(AI)新工具正在以惊人的速度扩散，从能够进行类似真人对话的聊天机器人，到自动运行软件的编码机器人，再到无中生有的图像生成器，所谓的生成式人工智能(AIGC)突然间变得无处不在，并变得越来越强大。但是在上周，针对这股AI热潮的反弹开始出现...
业界动态 2023-04-05 12:27:23
