GPT重大突破！成本降低75%，单次处理20页文档
6月14日，OpenAI官网发布了GPT-3.5和GPT-4的重大版本更新，在带来了诸多新功能的同时，将使用成本降低了25%~75%。
【资料图】
01
GPT-3.5-turbo-16k
一次性处理20页文档
大语言模型的“上下文窗口”类似一个短期记忆，能让AI记住用户在当前聊天窗口下的沟通记录，而增加短期记忆的长度已经成了AI公司之间的一种军备竞赛，更长的短期记忆能让AI完成更加复杂的工作。
OpenAI在这次更新中推出了新的GPT-3.5-turbo版本，并命名为“GPT-3.5-turbo-16k”，新版本可以处理16000个token的输入，这约等于一份20页的文本。虽然和竞争对手Anthropic的75000个token相比仍有不小的差距，但这种幅度的提升对于那些需要模型处理和生成较大文本块的开发者来说，依旧是个非常重大的更新。
更长的上下文长度对应着更高的使用成本，16000个token的长度相当于原来标准长度的4倍，但价格是标准长度的两倍：每1K输入标记0.003美元，每1K输出标记0.004美元。
02
更强的功能、更低的成本
在这次更新中，OpenAI还在相当程度上降低了开发者的使用成本。
最受欢迎的GPT-3.5-turbo模型token价格降低了25%。开发人员现在可以以0.0015美元/1000个输入token和0.002美元/1000个输出token的价格使用该模型，相当于每美元大约可处理700页的文本。
除此之外，嵌入模型的价格降低了75%。text-embedding-ada-002是OpenAI最受欢迎的嵌入模型，在降价后，每1000个token仅为0.0001美元。
GPT-3.5虽然大受欢迎，但其token的使用费对部分开发者来说依然是笔巨款，这次大幅降价有望吸引更多正在官网的开发者加入。
03
函数调用更可控
以及老模型停用
函数调用也是本次更新中备受关注的新功能，OpenAI这次更新的函数调用功能，本质上是让API直接支持了Agent或者Plugin。
开发人员现在可以向GPT-4-0613和GPT-3.5-turbo-0613描述函数，并让模型智能地选择输出一个包含调用这些函数参数的JSON对象。这是一种更可靠地将GPT的能力与外部工具和API连接起来的新方法。
这些模型已经经过微调，可以检测何时需要调用函数（根据用户的输入），并以符合函数签名的JSON形式做出响应。函数调用使开发人员可以更可靠地从模型中获取结构化数据。例如，开发人员可以：
创建通过调用外部工具（例如ChatGPT插件）回答问题的聊天机器人。
将诸如“给Anya发电子邮件，看看她是否想在下周五喝咖啡”这样的查询转换为函数调用。例如：
send_email(to: string, body: string)
或将“波士顿的天气如何？”转换为
get_current_weather(location:string, unit:"celsius"|"fahrenheit")。
将自然语言转换为API调用或数据库查询。
将“本月我的前十位客户是谁？”转换为内部API调用。例如：
get_customers_by_revenue(start_date: string, end_date: string, limit: int)。
或将“上个月Acme公司下了多少订单？”转换为
使sql_query(query: string)的SQL查询。
从文本中提取结构化数据。
定义一个名为extract_people_data的函数，用于从维基百科文章中提取所有被提及的人员信息。函数参数为people，它是一个包含人员姓名、出生日期和位置的对象数组：[{name: string, birthday: string, location: string}]。
在稳定性方面，GPT-3.5-turbo-0613具备与GPT-4相同的函数调用功能，同时还通过系统消息提供了更可靠的可控性，这两个功能使开发人员能够更有效地引导模型的回复。
随着这些更新，OpenAI将在接下来的几周内邀请更多等候名单上的人尝试GPT-4，并计划最终完全取消等候名单。
随着新版本的发布，一些旧模型的停用也提上日程。GPT-3.5-Turbo-0301、GPT-4-0314这些旧模型将可以访问到9月13日，在此之后指定这些模型名称的请求将失败。
虽然OpenAI CEO山姆·奥尔特曼在之前的美国听证会上明确承诺，为了保证人工智能技术的安全性，会暂停GPT-5的开发计划，但显然这项承诺并没有阻挡GPT-3.5和GPT-4的版本迭代，甚至这次更新还隐约带有“价格战”的味道。OpenAI并没有真的坐在原地等待，AI厂商间的大战还在继续。
标签：
为您推荐
-
人民网杭州9月17日电 （记者孙博洋）9月16日至17日，中国质量（杭州）大会在浙江杭州举行。在16日举行...
2021-09-18