Яндекс разработал и выложил в опенсорс библиотеку YaFSDP
Она ускоряет обучение больших языковых моделей с открытым исходным кодом до 25% и помогает расходовать до 20% меньше ресурсов графических процессоров. Расход мощностей оптимизируется на всех этапах обучения.