Вы когда-нибудь задумывались, сколько электроэнергии вы потребляете, когда подсказываете или благодарите модель искусственного интеллекта? Инженер компании Hugging Face Жюльен Делаванде задумывался, поэтому он создал инструмент, помогающий найти ответ.
Модели искусственного интеллекта потребляют энергию при каждом запуске. Они работают на графических процессорах и специализированных чипах, которым требуется много энергии для выполнения соответствующих вычислительных нагрузок в масштабе. Определить потребление энергии моделями не так просто, но широко ожидается, что растущее использование технологий ИИ приведет к росту потребностей в электроэнергии в ближайшие пару лет.
Потребность в больших мощностях для обеспечения работы ИИ привела к тому, что некоторые компании стали использовать небезопасные для окружающей среды стратегии. Такие инструменты, как у Делаванда, призваны привлечь к этому внимание и, возможно, заставить некоторых пользователей ИИ задуматься.
«Даже небольшая экономия энергии может распространяться на миллионы запросов - выбор модели или длина вывода могут привести к серьезному воздействию на окружающую среду», - пишут Делаванде и другие создатели инструмента в своем заявлении.
Инструмент Делаванда предназначен для работы с Chat UI - интерфейсом с открытым исходным кодом для таких моделей, как Llama 3.3 70B от Meta и Gemma 3 от Google. Инструмент оценивает энергопотребление сообщений, отправляемых в модель и из нее в режиме реального времени, сообщая о потреблении в ватт-часах или джоулях. Он также сравнивает энергопотребление модели с энергопотреблением обычных бытовых приборов, таких как микроволновые печи и светодиоды.
Согласно данным инструмента, если попросить Llama 3.3 70B написать обычное электронное письмо, то на это уйдет примерно 0,1841 ватт-часа - это эквивалентно работе микроволновой печи в течение 0,12 секунды или использованию тостера в течение 0,02 секунды.
Стоит помнить, что оценки инструмента - это всего лишь оценки. Делаванде не утверждает, что они невероятно точны. Тем не менее, они служат напоминанием о том, что все - в том числе и чатботы - имеет свою цену.
«Благодаря таким проектам, как оценка энергопотребления ИИ и более широкие исследования энергетического следа ИИ, мы добиваемся прозрачности в сообществе с открытым исходным кодом. В один прекрасный день энергопотребление может стать таким же заметным, как этикетки на продуктах питания!» написали Делаванде и его соавторы.
Оригинал
Уникальность
