RPM和TPM在AI模型领域的含义

130
0
0
2024-11-05

RPM和TPM在AI模型领域的含义

RPM 模型请求数单位(在AI模型领域):

  • 在人工智能和机器学习领域,特别是在模型推理定价中,RPM(Requests Per Minute)表示每分钟请求数。这是衡量模型处理能力的一个关键指标,反映了模型在给定时间内能够处理的请求数量。例如,在豆包大模型的定价中,RPM就是一个重要的考量因素。

TPM 模型处理能力单位(在AI模型领域):

  • 在人工智能和机器学习领域,特别是在模型推理定价中,TPM(Tokens Per Minute)表示每分钟处理的Tokens数量。Tokens是模型处理数据的基本单位,因此TPM是衡量模型处理能力的一个重要指标。例如,在豆包大模型的定价中,TPM就代表了模型每分钟的处理能力。

综上所述,RPM和TPM在不同领域具有不同的含义,但在人工智能和机器学习领域,它们通常分别表示每分钟请求数和每分钟处理的Tokens数量,是衡量模型处理能力的关键指标。