-
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉，谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露，用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串，人们会将训练模型所用文本中的句子、段落进行切分，其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分，能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力，说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中，但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示，不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化，研究界要求提高透明度。自推出PaLM 2以来，谷歌一直表示，新模型比之前的大型语言模型更小，这意味着该公司技术在完成更复杂任务时能变得更高效。参数（parameters）通常用于说明语言模型的复杂性。根据内部文件，PaLM 2接受了3400亿个参数的训练，初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示，新模型使用了一种名为“计算最优缩放”（compute-optimal scaling）的“新技术”，能使得PaLM 2“更高效，整体性能更好，比如推理更快、服务参数更少，服务成本也更低。”在发布PaLM 2时，谷歌透露新模型接受了100种语言的训练，并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本，从小到大依次是Gecko（壁虎）、Otter（水獭）、Bison（野牛）和Unicorn（独角兽）。根据谷歌公开披露的信息，PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型，其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
2023年还在出2G手机？这个大厂真的疯了！
鉴于最近没什么新机，果子就跟你们聊聊比较有意思，曾经两大手机巨头最近的趣事吧！说起来你们可能不信，在现在 5G 当道、4G 够用、3G 淘汰、2G 近乎灭绝的网络通讯环境中，你们能想象现在还有手机厂商推出 2G 网络的机型吗？没错，不说估计你们也都猜到了！就是直到现在，仍没放弃直板功能手机的 “ 诺基亚 ” 。而在前些天，诺基亚就 2G 网络，推出了三款功能机。分别是 105 、106 、110 ....
手机互联 2023-05-15 11:46:07 -
又要颠覆一个行业？“ChatGPT之父”这个项目有望再获融资
①山姆·阿尔特曼接近为加密项目“世界币”融资1亿美元； ②三位知情人士透露，世界币在本轮筹集资金方面已经处于高级谈判阶段； ③本周早些时候，世界币推出了一个新产品——加密钱包World App。 财联社5月14日讯（编辑 赵昊）综合多家媒体报道，“ChatGPT之父”、人工智能研究公司OpenAI的首席执行官山姆·阿尔特曼接近为加密项目“世界币”（Worldcoin）融资1亿美元...
区块链 2023-05-14 22:55:18 -
掐住我们脖子的是中国人！仅马斯克的火箭公司有1000多人出自清华
掐住我们脖子的是中国人！仅马斯克的火箭公司有1000多人出自清华“掐住我们脖子的根本不是美国人，而是中国人”这是任正非任老的由衷感叹。在一次年终座谈会上，任正非对着众多华为高管直接怒怼：“还过个屁年！卡住我们脖子的根本不是美国人，而是中国人”...
智能设备 2023-05-13 10:19:30 -
OpenAI推出Shap・E：基于文本数秒内生成高质量3D模型
IT之家5月9日消息，继文本生成图片模型DALL・E之后，OpenAI近日再次发布了Shap・E模型。用户可以输入文本，用于创建逼真且多样化的3D模型...
智能设备 2023-05-09 12:36:14 -
印度：智能手机市场告诉我们有关其经济的信息
尽管苹果宣称印度是其下一个重要的增长点，但该国的智能手机市场却阴云密布。行业数据显示，该国的手机销量已降至2019年以来的最低水平...
手机互联 2023-05-09 09:55:59 -
想走出这个实验室，一台手机要被机器人“敲打”20万次
杨净发自凹非寺量子位|公众号QbitAI北京一个150平米的厂房里，一群装有摄像头和AI算法、可自主行动的机器人正在7*24小时不间断地运作。他们只有一个目的：“攻击”人类的智能手机...
智能设备 2023-05-08 13:15:50 -
马斯克：特斯拉FSD11.4应该被称为12.0，因为它有很多重大改进
IT之家5月8日消息，马斯克表示，特斯拉FSDBetav11.4将从明天（当地时间周一）开始向更多员工推送，而且他认为v11.4不应该只是个小版本更新，因为它有着很多重大改进内容。不过他也提到，真正的FSD12是为端到端AI保留的，从图像输入到车辆转向、制动和加速输出的端到端AI系统...
智能设备 2023-05-08 13:15:36 -
前腾讯区块链业务负责人离职创业，我们和他聊了聊为何此时allinweb3｜36氪专访
作者｜苏子华编辑｜乔芊Web3行业正往何处去？36氪获悉，前腾讯区块链业务负责人蔡弋戈，于今年年初从腾讯离开后，创立web3钱包PunkCode。过去，在区块链应用层面，腾讯是互联网大厂中的佼佼者...
区块链 2023-05-07 12:44:18 -
三星ZFlip5外观遭外媒曝光这个外屏尺寸我惊到了
【手机中国新闻】如今，在小折叠屏领域，各家入局的手机厂商大有在“外屏”上卷的迹象。而衡量一款小折叠屏手机外屏优劣的最直观标准，可能就是它的尺寸了...
手机互联 2023-05-07 12:44:00 -
吉利旗下英国厂商发布大型电动汽车全新平台，适用于多种车型
5月5日消息，周五，吉利旗下的伦敦电动汽车公司（LEVC）发布了全新的大型电动汽车平台——“空间定向架构”（SOA，SpaceOrientedArchitecture），适用于客车和货车。这个平台是由中国、瑞典、英国和德国的团队共同开发的，历时两年半...
业界动态 2023-05-05 11:06:52 -
吉利旗下英国厂商发布大型电动汽车全新平台，适用于多种车型
5月5日消息，周五，吉利旗下的伦敦电动汽车公司（LEVC）发布了全新的大型电动汽车平台——“空间定向架构”（SOA，SpaceOrientedArchitecture），适用于客车和货车。这个平台是由中国、瑞典、英国和德国的团队共同开发的，历时两年半...
业界动态 2023-05-05 11:06:50
