-
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
摩托罗拉系统发布专业对讲机序列入门级产品MOTOTRBOR2
【网易科技5月23日报道】摩托罗拉系统（中国）有限公司与北京中瑞特通讯设备有限公司联合举办MOTOTRBO™R2新品暨中瑞特极智互联系统发布会。在会上，摩托罗拉系统正式发布并展示了专业对讲机序列的入门级产品MOTOTRBO™R2...
智能设备 2023-05-23 22:44:34 -
瑞典率先打造世界首条永久性电动公路系统，汽车行驶中可自行充电
IT之家 5 月 17 日消息，据欧洲新闻网 (Euronews) 报道，欧盟 4 月通过了一项具有里程碑意义的法律，要求从 2035 年起所有售出的新车二氧化碳排放量为零，欧洲国家正加紧准备实现无化石燃料出行所需的基础设施。为响应欧盟要求，瑞典决定于 2025 年开通世界上第一条永久性电气化公路...
智能设备 2023-05-17 12:10:07 -
Tourbox发布全新控制器配套软件改善摄影创作流程
【网易科技5月13日报道】数字创作控制器Tourbox在2023 CHINA P&E展会上发布了全新配套软件系统TourBox Console 5.0，旨在为摄影师、剪辑师、绘师等数字创作者提供更加优化的照片编辑管理流程。据介绍，该软件系统与主流软件兼容，能够快速完成浏览照片、标记、选图、调色、修图和输出等操作，为创作者提供了更直观、高效的创作体验。据悉，TourBox Console 5...
智能设备 2023-05-13 21:02:05 -
Sql Server Management Studio连接Mysql的实现步骤
目标已知mysql连接参数（地址和用户），期望通过Microsoft Sql Server Management Studio （以下简称MSSSMS）连接Mysql，在MSSSMS中直接查询或修改Mysql中的数据。实现步骤1/4：下载MySql Connector/ODBC并安装，下载地址：MySQL :: Download Connector/ODBC根据操作系统位数选择相应的安装文件，安装时可能会提示先安装Microsoft OLE DB Driver ，安装成功后如下：步骤2/4：创建DSN ( data source name) 步骤3/4：创建链接服务器--创建链接服务器EXEC sp_addlinkedserver @server = 'crm', @srvproduct='MySQL',@provider = 'MSDASQL',@datasrc ='crmDNS' --删除链接服务器execute sys.sp_dropserver @server='crm'其中的 @server = 'crm'指自定义的服务名， @datasrc ='crmDNS' 是指 ODBC中的数据源名称。 步骤4/4：使用演示上图是查询结果上图是在sql server 数据库中把数据插入到mysql数据库到此这篇关于Sql Server Management Studio连接Mysql的实现步骤的文章就介绍到这了,更多相关Sql Server Management Studio连接Mysql内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！ ...
数据库操作教程 2023-05-12 12:13:01 -
-
sql server 2016不能全部用到CPU的逻辑核心数的问题
最近在工作中遇到了，sql server 2016 不能把CPU 的核心全部用到的问题.通过分析工具看到 总共CPU核心有72核，但sql 只能用到40核心，想信也有很多人遇到这问题，那么今天这节就先说说这问题是怎么出现的。首先 介绍下服务器的环境 Windows 2008 R2 Enterprise Edition(X64) + Microsoft SQL Server 2012 (SP1)Enterprise Edition (64-bit) CPU 2路 18核 开启超线程后是72核心 如图：再看sql实例的属性 如图：sql server 其实已经认出了总的核心数 72 那么sql server 是不是代表就能全部使用上呢，通过系统视图可以看到 select * from sys...
数据库操作教程 2023-05-12 12:12:37 -
使用SQL Server分区表功能提高数据库的读写性能
一般来说一个系统最先出现瓶颈的点很可能是数据库。比如我们的生产系统并发量很高在跑一段时间后，数据库中某些表的数据量会越来越大。海量的数据会严重影响数据库的读写性能。这个时候我们会开始优化系统，一般会经过这么几个过程：找出SQL慢查询，针对该SQL进行优化，比如改进SQL的写法，查看执行计划对全表扫描的字段建立索引引入缓存，把一部分读压力加载到内存中读写分离引入队列，把并发的请求使其串行化，来减轻系统瞬时压力分表/分库对于第五点优化方案我们来细说一下。分表分库通常有两种拆分维度：1.垂直切分，垂直切分往往跟业务有强相关关系，比如把某个表的某些不常用的字段迁移出去，比如订单的明细数据可以独立成一张表，需要使用的时候才读取 2...
数据库操作教程 2023-05-12 12:12:34 -
SQL Server 数据库的更改默认备份目录的详细步骤
本文也适用与最新的sqlserver2008 2016 2019版本打开 SSMS选择数据库，右键，属性选择“权限”，点击“查看服务器权限”选择“数据库设置”，修改“备份”框路径注意：更改一个数据库的备份路径后，对所有数据库都是有效的,注意最后提示是否保存。现在如果备份数据库到新的目录，会报以下错误：无法打开备份设备。出现操作系统错误 5(拒绝访问。)。BACKUP DATEBASE 正在异常终止。。那就在新的备份目录上右键属性，安全，编辑，添加，在框内填写“NT SERVICEMSSQLSERVER”这个服务用户，确定，（这个用户名称会自动变成“MSSQLSERVER”，如果没有这个用户，点击“高级”-“立即查找”，选择 MSSQLSERVER 或 NT SERVICEMSSQL$InstanceName），然后选择“完全控制”，一路确定现在可以备份到新的目录中去啦如何修改SQL Server的默认备份路径注册表修改方法一、Win+R， 输入 Regedit , 打开注册表；二、搜索：BackupDirectory三、找到对应的值， 修改为你想设置的路径即可。之所以用搜索，而不是直接找注册表， 是因为不同的SQL Server可能位置有区别。使用SqlServer备份数据库时，提示备份目录没有权限 操作系统错误5 存取被拒的解决办法如果备份失败或无法浏览备份目录文件夹的内容，则可能是此文件夹的权限设置有问题。今天帮客户手工做一次Sql Server数据库备份时，发现有错误提示，提示 Backup Failed from Server (Microsoft SqlServer....
数据库操作教程 2023-05-12 12:12:17 -
VS自带的SQL server修改密码并连接使用
接下来，请按照以下步骤操作：完成上述步骤后，您应该能够使用 sa 用户及其密码在程序中连接到 SQL Server Express LocalDB 实例。只需在连接字符串中使用 "User Id=sa" 和 "Password=YourPassword"（其中 YourPassword 是您设置的实际密码）。完成上述步骤后，您可以在程序中使用 SQL Server 身份验证连接到 SQL Server Express LocalDB 实例。以下是一个使用 C# 的示例，展示如何使用 SqlConnection 类连接到数据库：using System;using System.Data...
数据库操作教程 2023-05-12 12:12:09 -
SQL Server判断数据库、表、列、视图、存储过程、函数是否存在总结
目录一、前言概述二、数据库相关的判断2.1、判断数据库是否存在三、数据表相关的判断3...
数据库操作教程 2023-05-12 12:11:57 -
SQL Server的行级安全性详解
目录一、前言二、描述三、权限四、安全说明：侧信道攻击五、跨功能兼容性六、示例一、前言行级别安全性使您能够使用组成员身份或执行上下文来控制对数据库表中行的访问。行级别安全性 （RLS） 简化了应用程序中的安全性设计和编码。RLS 可帮助您对数据行访问实施限制。例如，您可以确保工作人员仅访问与其部门相关的数据行。另一个示例是将客户的数据访问限制为仅与其公司相关的数据。访问限制逻辑位于数据库层中，而不是远离另一个应用程序层中的数据。每次尝试从任何层访问数据时，数据库系统都会应用访问限制。这通过减少安全系统的表面积，使您的安全系统更加可靠和强大。通过使用创建安全策略 Transact-SQL 语句和作为内联表值函数创建的谓词实现 RLS。行级别安全性首次引入 SQL Server 2016 （13.x）。二、描述RLS 支持两种类型的安全谓词。筛选器谓词以静默方式筛选可用于读取操作（选择、更新和删除）的行。阻止谓词显式阻止违反谓词的写入操作（插入后、更新后、更新之前、删除之前）。对表中行级数据的访问受定义为内联表值函数的安全谓词的限制。然后，安全策略调用和强制执行该函数。对于筛选器谓词，应用程序不知道从结果集中筛选的行。如果筛选了所有行，则将返回空集。对于块谓词，任何违反谓词的操作都将失败并显示错误。从基表中读取数据时应用筛选器谓词。它们影响所有获取操作：选择、删除和更新。用户无法选择或删除已筛选的行。用户无法更新筛选的行。但是，可以更新行，以便以后对其进行筛选。块谓词会影响所有写入操作。“插入后”和“更新后”谓词可以防止用户将行更新为违反谓词的值。BEFORE UPDATE 谓词可以阻止用户更新当前违反谓词的行。在删除之前 谓词可以阻止删除操作。筛选器和阻止谓词以及安全策略都具有以下行为：可以定义一个谓词函数，该函数与另一个表联接和/或调用函数。如果使用 （默认值） 创建安全策略，则可以从查询访问联接或函数，并按预期工作，而无需任何其他权限检查。如果使用 创建安全策略，则用户将需要对这些附加表和函数的 SELECT 权限才能查询目标表。如果谓词函数调用 CLR 标量值函数，则还需要 EXECUTE 权限。可以针对已定义但已禁用安全谓词的表发出查询。筛选或阻止的任何行不受影响。如果 dbo 用户、db_owner角色的成员或表所有者查询已定义并启用了安全策略的表，则会按照安全策略的定义过滤或阻止行。尝试更改由架构绑定安全策略绑定的表的架构将导致错误。但是，可以更改谓词未引用的列。尝试在已为指定操作定义谓词的表上添加谓词会导致错误。无论是否启用谓词，都会发生这种情况。尝试修改函数（用作架构绑定安全策略中的表的谓词）将导致错误。定义多个包含非重叠谓词的活动安全策略会成功。筛选器谓词具有以下行为：定义用于筛选表中行的安全策略。应用程序不知道针对 SELECT、UPDATE 和 DELETE 操作筛选的任何行。包括筛选掉所有行的情况。应用程序可以插入行，即使它们将在任何其他操作期间被筛选。块谓词具有以下行为：UPDATE 的块谓词被拆分为 BEFORE 和 AFTER 的单独操作。例如，不能阻止用户将行更新为具有高于当前值的值。如果需要这种逻辑，则必须将触发器与 DELETE 和 INSERT 中间表一起使用，以同时引用旧值和新值。如果谓词函数使用的列未更改，优化程序将不会检查 AFTER UPDATE 块谓词。尚未对批量 API 进行任何更改，包括批量插入。这意味着块谓词 AFTER INSERT 将应用于批量插入操作，就像它们将常规插入操作一样。三、权限创建、更改或删除安全策略需要“更改任何安全策略”权限。创建或删除安全策略需要对架构具有 ALTER 权限。此外，添加的每个谓词都需要以下权限：对用作谓词的函数的 SELECT 和 REFERENCE 权限。对绑定到策略的目标表的 REFERENCES 权限。对用作参数的目标表中的每一列的 REFERENCES 权限。安全策略适用于所有用户，包括数据库中的 dbo 用户。Dbo 用户可以更改或删除安全策略，但可以审核他们对安全策略的更改。如果高特权用户（如 sysadmin 或 db_owner）需要查看所有行以排除故障或验证数据，则必须编写安全策略以允许这样做。如果使用 创建安全策略，则要查询目标表，用户必须对谓词函数以及谓词函数中使用的任何其他表、视图或函数具有 SELECT 或 EXECUTE 权限。如果使用 （默认值） 创建安全策略，则当用户查询目标表时会绕过这些权限检查。四、安全说明：侧信道攻击（1）恶意安全策略管理器。请务必注意，恶意安全策略管理器具有在敏感列上创建安全策略的足够权限，并有权创建或更改内联表值函数，但可以与对表具有选择权限的其他用户串通，通过恶意创建旨在使用侧通道攻击推断数据的内联表值函数来执行数据泄露。此类攻击需要串通（或授予恶意用户的过多权限），并且可能需要多次迭代修改策略（需要删除谓词的权限以破坏架构绑定）、修改内联表值函数以及在目标表上重复运行 select 语句。我们建议您根据需要限制权限，并监视任何可疑活动。应监视活动，例如不断更改的策略和与行级别安全性相关的内联表值函数。（2）精心设计的查询。通过使用利用错误的精心设计的查询，可能会导致信息泄露。五、跨功能兼容性通常，行级别安全性将跨功能按预期工作。但是，也有一些例外。本节记录了将行级别安全性与 SQL Server 的某些其他功能结合使用的几个注意事项和注意事项。DBCC SHOW_STATISTICS报告未过滤数据的统计信息，并可能泄露受安全策略保护的信息。因此，对查看具有行级别安全策略的表的统计信息对象的访问受到限制。用户必须拥有该表，或者用户必须是 sysadmin 固定服务器角色、db_owner固定数据库角色或db_ddladmin固定数据库角色的成员。文件流：RLS 与文件流不兼容。内存优化表：必须使用该选项定义用作内存优化表的安全谓词的内联表值函数。使用此选项，将禁止内存优化表不支持的语言功能，并在创建时发出相应的错误。索引视图：通常，可以在视图之上创建安全策略，也可以在受安全策略约束的表之上创建视图。但是，不能在具有安全策略的表之上创建索引视图，因为通过索引查找行将绕过该策略。变更数据捕获：变更数据捕获可能会泄漏应筛选为db_owner成员或为表启用 CDC 时指定的“控制”角色成员的用户（注意：您可以将此函数显式设置为 NULL，以使所有用户都能访问变更数据）。实际上，db_owner和此控制角色的成员可以查看表上的所有数据更改，即使表上有安全策略也是如此。更改跟踪：更改跟踪可能会将应筛选的行的主键泄露给同时具有“选择”和“查看更改跟踪”权限的用户。实际数据值不会泄露;只有 A 列被更新/插入/删除了带有 B 主键的行的事实。如果主密钥包含机密元素（如社会保险号），则会出现问题。然而，在实践中，这个CHANGETABLE几乎总是与原始表连接，以获得最新的数据。全文搜索：使用以下全文搜索和语义搜索函数的查询预计会降低性能，因为引入了额外的联接来应用行级安全性并避免泄漏应过滤的行的主键：CONTAINSTABLE、FREETEXTTABLE、semantickeyphrasetable、semanticsimilaritydetailstable、semanticsimilaritytable、semanticsimilaritytable。列存储索引：RLS 与聚集列存储索引和非聚集列存储索引兼容。但是，由于行级别安全性应用函数，因此优化程序可能会修改查询计划，使其不使用批处理模式。分区视图：不能在分区视图上定义块谓词，也不能在使用块谓词的表上创建分区视图。筛选器谓词与分区视图兼容。时态表：时态表与 RLS 兼容。但是，当前表上的安全谓词不会自动复制到历史记录表中。要将安全策略应用于当前表和历史记录表，必须在每个表上单独添加安全谓词。六、示例向数据库进行身份验证的用户的方案。创建三个用户，并创建并填充一个包含六行的表。然后，它为表创建一个内联表值函数和安全策略。然后，该示例演示如何为各种用户筛选 select 语句。（1）创建三个将演示不同访问功能的用户帐户。CREATE USER Manager WITHOUT LOGIN;CREATE USER SalesRep1 WITHOUT LOGIN;CREATE USER SalesRep2 WITHOUT LOGIN;GO（2）创建一个表来保存数据。CREATE SCHEMA SalesGOCREATE TABLE Sales...
数据库操作教程 2023-05-12 12:11:21
