-
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息,谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示,自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉,谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露,用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串,人们会将训练模型所用文本中的句子、段落进行切分,其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分,能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力,说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中,但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示,不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化,研究界要求提高透明度。自推出PaLM 2以来,谷歌一直表示,新模型比之前的大型语言模型更小,这意味着该公司技术在完成更复杂任务时能变得更高效。参数(parameters)通常用于说明语言模型的复杂性。根据内部文件,PaLM 2接受了3400亿个参数的训练,初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示,新模型使用了一种名为“计算最优缩放”(compute-optimal scaling)的“新技术”,能使得PaLM 2“更高效,整体性能更好,比如推理更快、服务参数更少,服务成本也更低。”在发布PaLM 2时,谷歌透露新模型接受了100种语言的训练,并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本,从小到大依次是Gecko(壁虎)、Otter(水獭)、Bison(野牛)和Unicorn(独角兽)。根据谷歌公开披露的信息,PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型,其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
全系标配潜望式长焦,OPPOReno10系列提前解析
进入五月下旬将会有多款重磅机型发布,比如:iQOO Neo8系列、荣耀90系列以及OPPO Reno10系列等等。目前iQOO Neo8系列与OPPO Reno 10系列发布日期已经确认,前者也开始了预热,后者目前已经上架官网开启了预约。根据行业的信息今天重点给大家提前解析下OPPO Reno10系列,其中:OPPO Reno10是基于高通骁龙778G处理器打造的,采用的是6.7英寸、2412*1080分辨率、120Hz刷新率、居中打孔OLED屏幕;前置摄像头为3200万像素,后置主摄为6400万像素(OV64B),超广角为800万像素,另外有一颗3200万像素(IMX709)的长焦镜头;内置电池为4600毫安,支持80W有线快充。注:机身重量为180克,机身厚度为7...
手机互联 2023-05-17 08:47:15 -
360与智谱AI宣布战略合作,共同研发千亿级大语言模型“360GLM”
【网易科技5月16日报道】今日,360和智谱AI宣布达成战略合作,宣布双方共同研发的千亿级大模型“360GLM”已具备新一代认知智能通用模型水准。据了解,双方合作研发,这也是基础模型和应用场景的一次有效结合...
智能设备 2023-05-16 14:33:00 -
小米安全中心更新停止支持产品列表,包含RedmiK30
IT之家 5 月 14 日消息,小米为旗下智能手机提供持续的安全性更新,覆盖小米、Redmi 和 POCO 品牌的手机。小米提供的安全性更新包括最新的安全补丁、安全问题修复和其他安全性改进,通常情况下会为所有手机产品提供至少 2 年的安全性更新,且定期发布和更新终止支持产品列表...
手机互联 2023-05-14 10:23:17 -
SQL注入之sqlmap入门学习
目录一、判断是否存在注入点二、查询当前用户下所有数据库三、获取数据库中的表名四、获取表中的字段名五、获取字段内容六、获取数据库的所有用户七、获取数据库用户的密码八、获取当前网站数据库的名称九、获取当前网站数据库的用户名称原来sql注入如此简单以SQL注入靶场sqli-labs第一关为例,进行sqlmap工具的使用分享。一、判断是否存在注入点使用命令:使用命令:sqlmap -u "http://49.232...
数据库操作教程 2023-05-12 12:12:30 -
SQLserver2019 Express安装及其一些问题解决
首先,我是一名技术小白,有些问题的理论不是理解得很透彻,如果大家有什么问题,我们一起讨论,增长彼此,这样才是最好的,扫弊自珍,是最大的愚蠢。我如果感兴趣,也会回复各位,帮助大家寻找解决方法,我就是免费的劳动力/ww~~~现在进入正题:1.安装步骤我是遇到问题后,从B站上面查找的参考资料,因为不知道是否涉及版权问题,所以大家自己搜索一下1...
数据库操作教程 2023-05-12 12:11:46 -
苹果首家AppleStore于5月19日重新开业
IT之家 5 月 12 日消息,苹果位于美国弗吉尼亚州费尔法克斯(Fairfax)的首家 Apple Store 零售店--Tysons Corner Store,于 5 月 19 日星期五开业,也是该零售店的 22 周年纪念日。苹果的新零售店同样位于该购物中心内,只是搬到新的位置,新店将采用包容性、创新和可持续的设计增强功能,“反映苹果的价值观”...
手机互联 2023-05-12 09:46:32 -
Redmi性能之王!K60Ultra曝光:天玑9200+加持
快科技5月12日消息,博主数码闲聊站暗示,Redmi K60 Ultra将在8月份前后发布,该机搭载联发科天玑9200+旗舰平台,这将是Redmi K60系列性能最强悍的旗舰手机。对比K60 Pro搭载的高通骁龙8 Gen2,K60 Ultra搭载的天玑9200+性能再创新高,跑分突破了136万分,是安卓阵营跑分最高的芯片,也是联发科迄今为止最强5G Soc。这颗芯片采用台积电4nm工艺,八核CPU性能得到全方位提升,其中Cortex-X3超大核主频高达3.35GHz;Cortex-A715大核主频高达3...
手机互联 2023-05-12 09:46:18 -
谷歌一雪前耻!全新PaLM2反超GPT-4,办公全家桶炸裂升级,Bard史诗进化
新智元报道编辑:编辑部【新智元导读】新版PaLM2超强进化,办公全家桶Workspace全面升级,Bard全面增强、所有人可用……可以看出,这届I/O大会,谷歌是真的憋出不少大招。谷歌I/O2023大会,仿佛又给谷歌的支持者们打了一针强心剂...
智能设备 2023-05-11 11:11:58 -
谷歌深夜王炸级更新!PaLM2大模型震撼发布!Bard写代码,哪里不懂点哪里!
这回,谷歌急了!他们这半年过得是真憋屈!近半年来AI的发展速度就像坐上了火箭,11月ChatGPT横空出世,今年2月发布的NewBing和3月发布的GPT-4,更是让许多大厂都难以望其项背。不甘落后的谷歌立刻推出聊天机器人Bard,结果因为演示视频中的小错误而导致股价大跌(其实GPT也会失误),现在,在谷歌一年一度的I/O大会上,谷歌需要让公众以及股东们相信其在AI方面的实力,来“一雪前耻”...
智能设备 2023-05-11 04:04:09 -
微软宣布7月15日弃用RemotePowerShell(RPS)协议
IT之家5月10日消息,微软于2022年12月宣布,ExchangeOnlinePowerShell中安全性和合规性模块将弃用RemotePowerShell(RPS)协议。微软今天明确了弃用时间--2023年7月15日开始...
智能设备 2023-05-10 10:49:03 -
支持Matter协议,HomePod/tvOS16.5RC升级Thread至1.3版本
IT之家5月10日消息,根据国外科技媒体iClarified报道,苹果在今天发布的tvOS16.5和HomePod16.5版本更新中,通过引入Thread1.3,实现了对Matter的支持。IT之家注:Thread是一种用于智能家居设备的低功耗和低延迟无线网状网络协议,旨在解决物联网的复杂性,解决互操作性、范围、安全性、能源和可靠性等挑战...
智能设备 2023-05-10 10:48:59