¿Cuál es la huella de carbono de ChatGPT?
ChatGPT se basa en GPT-3. Se calcula que la formación GPT-3 consumió 1,287 MWh y emitió 552 toneladas de CO2.
“Sin embargo, estas emisiones no sólo deberían atribuirse a ChatGPT, pero no me queda claro cómo se haría para asignar una parte de estas emisiones a ChatGPT. Además, ChatGPT se ha entrenado utilizando el aprendizaje por refuerzo , que debería añadirse, pero no se dispone de información relevante sobre este procedimiento de entrenamiento y no conozco ningún sustituto razonable. Si es así, le ruego que me indique la dirección correcta”, escribió Kasper Groes Albin Ludvigsen, redactor de Towards Data Science.
Durante 18 días, BLOOM se desplegó en una instancia de Google Cloud Platform con 16 GPU Nvidia A100 de 40 GB, apuntó el especialista.
“Supongamos que ChatGPT utiliza el mismo hardware. Dado que los modelos son aproximadamente del mismo tamaño, 175b frente a 176b parámetros para GPT-3 y y BLOOM respectivamente. Supongamos que ChatGPT también se ejecuta en 16 GPU Nvidia A100 de 40 GB, pero en una instancia Azure en lugar de una instancia GCP, ya que Open AI tiene una asociación con Microsoft”, añadió Kasper.
Según la calculadora ML CO2 Impact, ChatGPT emite 23,04 kgCO2e de carbono al día. Teniendo en cuenta que un danés medio emite 11 toneladas de CO2e al año, la huella de carbono diaria de ChatGPT es aproximadamente el 0,2% de la del danés medio. ChatGPT tendría una huella de carbono de 8,4 toneladas si funcionara durante un año, lo que equivale aproximadamente al 76% de la que tendría un danés.
Se estimó un total de 23,04 kg de CO2E al día basándose en 16 GPU disponibles las 24 horas del día, o 384 horas de GPU al día. “Aunque no estoy seguro, creo que ML CO2 Impact asume una utilización del hardware del 100% en todo momento, lo que parece razonable en este caso dada la fuerte carga que, según se informa, está experimentando el servicio”, concluye.
