-
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉，谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露，用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串，人们会将训练模型所用文本中的句子、段落进行切分，其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分，能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力，说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中，但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示，不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化，研究界要求提高透明度。自推出PaLM 2以来，谷歌一直表示，新模型比之前的大型语言模型更小，这意味着该公司技术在完成更复杂任务时能变得更高效。参数（parameters）通常用于说明语言模型的复杂性。根据内部文件，PaLM 2接受了3400亿个参数的训练，初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示，新模型使用了一种名为“计算最优缩放”（compute-optimal scaling）的“新技术”，能使得PaLM 2“更高效，整体性能更好，比如推理更快、服务参数更少，服务成本也更低。”在发布PaLM 2时，谷歌透露新模型接受了100种语言的训练，并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本，从小到大依次是Gecko（壁虎）、Otter（水獭）、Bison（野牛）和Unicorn（独角兽）。根据谷歌公开披露的信息，PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型，其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
初代MIXFOLD在内！小米多款手机宣布停更开发版
快科技4月28日消息，今天，MIUI官方发布公告，正式宣布包括小米MIXFOLD、小米平板5在内的10款手机/平板产品，即将停止开发版更新。此次停更的产品包括：MIXFOLD折叠屏手机、XiaomiMIX4、小米平板5Pro5G、小米平板5Pro、小米平板5、XiaomiCivi、RedmiNote11Pro、RedmiNote11Pro+、XiaomiCivi1S、Xiaomi12X...
手机互联 2023-04-29 10:00:50 -
DuoWoA项目动态，初代SurfaceDuo手机可流畅运行Win10X系统
IT之家4月4日消息，得益于DuoWoA项目，微软初代SurfaceDuo现在可以运行Win10X系统。DuoWoA项目的初衷是，让初代SurfaceDuo流畅运行Win10和Win11系统...
手机互联 2023-04-04 10:21:25 -
又有一台未拆封的初代iPhone手机要在近期拍卖
IT之家3月31日消息，又有一台未拆封的初代iPhone手机要在近期拍卖了。和以往不同的是，本次拍卖的初代iPhone上贴有极为罕见的“Luckyyou”红色贴纸...
手机互联 2023-03-31 09:49:25 -
盘点游戏王的设计魅力，我我我与游马致敬初代决斗王?
情怀，一直以来都是各类动漫以及游戏中不可分割的一部分，尤其是有着多代设定的动漫以及游戏，往往都有着非常浓厚的情怀元素，通过在后代作品中加入一些先代的设定从而勾起玩家们的回忆，不仅是对经典的致敬，同时也是对情怀的延续。在游戏王中，也有着很多极具情怀魅力的设计，今天我想和大家分享的就是游戏王zexal中九十九游马与我我我系列在设计中所加入的致敬元素...
游戏资讯 2023-03-27 17:08:20 -
售价超2万？曝苹果已向高管进行MR头显里程碑展示，但内部不看好初代产品
据彭博社报道，苹果公司最近在一次内部活动中向公司的100位高管展示了其最新的MR混合现实头显，这标志着该设备即将面世之前的一个“重要里程碑”。自2018年以来，苹果的高管们每年都会看到这款头显的演示，但这次展示是一个更为重要的事件...
手机互联 2023-03-27 07:38:03 -
5.49万美元！又一未拆封初代iPhone拍出天价
据消息，国外拍卖行RRAuction于今年2月份举办了一场名为“史蒂夫·乔布斯和电脑革命”的拍卖会。拍卖品中有一台未拆封的全新初代iPhone...
手机互联 2023-03-26 12:23:42 -
《死亡岛2》创意总监：没有重制初代的计划
在最近接受外媒TheLoadout采访时，《死亡岛2》的创意总监JamesWorrall在被问及初代《死亡岛》游戏是否会以某种形式回归时表示，选择重制初代《死亡岛》对该系列来说可能是一个错误，比起这个，他们更愿意继续推动新作前进。JamesWorrall在采访中说道：“不，我认为这可能是一个错误，因为我们已经决定将《死亡岛2》继续运营下去了，我认为这是一个创造性的正确决定...
游戏资讯 2023-03-17 15:56:58 -
经典回归《仙剑客栈》初代3月30日登陆Steam平台
经典休闲模拟游戏《仙剑客栈》昨日上架了Steam上的页面，预计3月30日正式推出。继之前《仙剑客栈2》登陆Steam后，大宇把前作《仙剑客栈1》也发布到Steam平台了...
游戏资讯 2023-03-08 12:00:58 -
索尼认为PlayStationVR2销量将超过初代产品
IT之家3月8日消息，索尼称，初代PlayStationVR于2016年10月发布，到2019年底已售出500万台；而上个月刚推出的PSVR2销量“很有可能”超过其前身。在周一举行的摩根士丹利技术、媒体和电信会议中，索尼执行副总裁兼首席财务官HirokiTotoki发表了对于PSVR2的预期...
智能设备 2023-03-08 10:25:03 -
初代LoveLive彻底停在了μ's停止活动的同一天
我不知道有多少人还记得“如果奇迹有颜色，那一定是XX色”的原出处来自于“LoveLive”这个企划，也不知道还有多少人记得14年“AnimeloSummerLive”上由数万观众形成的“橙色奇迹”和被圈内圈外人震声呼喊，调侃出圈的“LL大法好”的口号。我只知道，伴随着《LoveLive！学园偶像祭》停服消息的公布，老拉拉人那些青春的又一块拼图，终于还是被埋进了记忆的坟墓...
游戏资讯 2023-03-08 00:45:56 -
初代《仙剑客栈》上线Steam商城！3月30日发售
《仙剑客栈》初代上线Steam商城，页面显示将于3月30日发售，售价暂未公开，现可加入愿望单。Steam商店页面>>>游戏介绍：该作最初于2001年推出，本作借用了《仙剑奇侠传》中的人物、地名、背景等，综合经营模拟、角色扮演、恋爱养成等多方面要素，玩家将扮演李逍遥，和赵灵儿、林月如、阿奴一起管理客栈...
游戏资讯 2023-03-07 15:12:02
