-
谷歌PaLM2训练所用文本数据量是初代的近5倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。据悉，谷歌最新发布的PaLM 2能够执行更高级的编程、运算和创意写作任务。内部文件透露，用于训练PaLM 2的token数量有3.6万亿个。所谓的token就是字符串，人们会将训练模型所用文本中的句子、段落进行切分，其中的每个字符串通常被称为token。这是训练大型语言模型的重要组成部分，能教会模型预测序列中接下来会出现哪个单词。谷歌于2022年发布的上一代大型语言模型PaLM在训练中使用了7800亿个token。尽管谷歌一直热衷于展示其在人工智能技术领域的实力，说明如何将人工智能嵌入到搜索引擎、电子邮件、文字处理和电子表格中，但一直不愿公布训练数据的规模或其他细节。微软支持的OpenAI也对最新发布的GPT-4大型语言模型细节保密。两家公司都表示，不披露这些信息的原因是人工智能行业存在激烈竞争。谷歌和OpenAI都想要吸引那些希望使用聊天机器人而不是传统搜索引擎搜索信息的用户。但随着人工智能领域竞争的白热化，研究界要求提高透明度。自推出PaLM 2以来，谷歌一直表示，新模型比之前的大型语言模型更小，这意味着该公司技术在完成更复杂任务时能变得更高效。参数（parameters）通常用于说明语言模型的复杂性。根据内部文件，PaLM 2接受了3400亿个参数的训练，初代的PaLM接受了5400亿个参数的训练。谷歌没有立即发表评论。谷歌在一篇关于PaLM 2的博客文章中表示，新模型使用了一种名为“计算最优缩放”（compute-optimal scaling）的“新技术”，能使得PaLM 2“更高效，整体性能更好，比如推理更快、服务参数更少，服务成本也更低。”在发布PaLM 2时，谷歌透露新模型接受了100种语言的训练，并能胜任各种各样的任务。包括谷歌试验性聊天机器人Bard在内的25项功能和产品用的都是PaLM 2。PaLM 2按参数规模有四个不同的版本，从小到大依次是Gecko（壁虎）、Otter（水獭）、Bison（野牛）和Unicorn（独角兽）。根据谷歌公开披露的信息，PaLM 2比任何现有模型都更强大。Facebook在今年2月份宣布推出名为LLaMA的大型语言模型，其在训练中用了1...
业界动态 2023-05-17 13:33:30 -
OpenAI确认通过API收集的数据不会用于训练ChatGPT
IT之家5月6日消息，OpenAI首席执行官萨姆・奥尔特曼（SamAltman）向CNBC确认，该公司不再使用API客户数据来训练其大型语言模型。OpenAI于今年3月初更新其服务条款，只是并未作出公告...
智能设备 2023-05-07 12:43:12 -
用API接入更安全，OpenAI称不会用付费客户数据训练AI
5月6日消息，OpenAI首席执行官萨姆·奥尔特曼(SamAltman)周五表示，他们“已经有一段时间”没有使用付费客户的数据来训练其GPT等人工智能大语言模型。奥尔特曼表示，“客户明确表示不希望用他们的数据进行训练，因此我们已经改变了计划：我们不会这样做...
智能设备 2023-05-07 12:42:55 -
训练效果未及预期，31名ChatGPT训练派遣工遭解雇
4月23日消息，据知情人士爆料和内部沟通文件显示，今年3月，30余名帮助培训爆火聊天机器人ChatGPT背后语言模型的派遣工被解雇。Slack内部聊天截图显示，截至3月16日，总部位于旧金山的外包公司InvisibleTechnologies解雇了31名派遣工...
智能设备 2023-04-23 11:08:21 -
用友CTO樊冠军：用友已启动企业服务大模型训练
4月19日消息，今日，用友网络执行副总裁兼CTO樊冠军宣布：用友已启动企业服务大模型训练。全球生成式AI热潮的兴起，用友认为，AI在企业的普及应用主要有三个方向：一是企业业务与职能工作的智能化运营；二是企业应用、企业服务的自然化人机交互；三是企业客户利用AI赋能的低代码开发与集成平台实现快速应用生成...
互联网 2023-04-20 21:02:29 -
因为这事，马斯克怒斥微软非法使用推特数据训练AI，称将提起诉讼
4月20日，微软在当地时间周三宣布，其为广告商提供营销活动管理服务的SmartCampaigns将不再支持社交媒体推特。推特所有者埃隆·马斯克（Elonmusk）随即回应称，微软非法使用推特数据训练人工智能，并威胁要提起诉讼...
互联网 2023-04-20 21:02:22 -
美媒揭秘大模型训练数据集：部分内容有些"脏"
4月20日消息，过去四个月，人工智能聊天机器人变得越来越受欢迎，它们能够完成各种任务，比如写复杂的学术论文和进行紧张的对话，能力很令人惊叹。聊天机器人并不像人类那样思考，它们甚至不知道自己在说什么...
互联网 2023-04-20 21:02:05 -
OpenAICEO：公司目前没有训练GPT-5，短期内也不会训练
4月14日消息，OpenAICEO萨姆·奥尔特曼(SamAltman)近日确认，公司目前没有训练GPT-5，并且“短期内也不会训练”。GPT-5被认为是GPT-4的继任者，后者是OpenAI今年三月发布的大语言模型...
业界动态 2023-04-14 22:41:34 -
微软开源DeepSpeedChat可将训练速度提升15倍以上
《科创板日报》13日讯，当地时间4月12日，微软宣布开源DeepSpeedChat，可帮助用户轻松训练类ChatGPT等大语言模型。DeepSpeedChat基于微软DeepSpeed深度学习优化库开发，具备训练、强化推理等功能，使用RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，并大幅降低成本...
智能设备 2023-04-13 14:56:59 -
币圈观察｜比特币涨破3万美元，近3个月涨幅74.41%！能支棱多久？
北京商报讯（记者刘四红）年内跌宕起伏的比特币，近日价格又开启短期上扬。4月11日，比特币价格于8时30分左右突破3万美元，涨幅超5%，不过后续又开始回落，截至9时18分左右，比特币报价29830美元，24小时涨幅4.84%，7日内涨幅达6.29%...
区块链 2023-04-11 17:50:56 -
圆桌｜暂停训练更强大AI没意义，ChatGPT让我们有新的真实观
·“我们会有新的真实观，因为ChatGPT是一个双刃剑，一方面它能够鉴别真假，但是另一方面它又能够混淆真和假的界限，倒逼我们对真实有更多的关注，做一个真的人，做一个求真的人、实事求是的人、有批判性思维的人。”·“有了MOSS之后，底层的重复性工作就不要做了，把整个生态建起来...
智能设备 2023-04-10 11:55:43 -
美国总统拜登：人工智能是否存在威胁还有待观察
人工智能可以帮助应对一些非常困难的挑战，如疾病和气候变化，但我们也必须应对其潜在的风险。财联社4月5日讯（编辑牛占林）当地时间周二，美国总统拜登表示，人工智能(AI)是否危险还有待观察，但他强调，科技公司有责任确保其产品在公开之前是安全的...
智能设备 2023-04-05 10:18:35
