OpenAPI запилили Batch API и дают по нему скидку в 50%. Т.е. можно загрузить много-много запросов сразу, их обработают в течении 24 часов, но в два раза дешевле.

Извините, я что-то зачастил про сложное. Но гугл тут опубликовал работу про Infini-attention. По факту, заявляют, что придумали подход, как сделать размер контекста условно бесконечным. Говорят, что модель на 1B и 8B параметров может успешно справляться с задачами на контексте в миллион токенов. Кода, конечно, никто нам не покажет. Но можно надеяться на светлое будущее с моделями вмещающимися в видюху способными работать с огромным контекстом.

https://arxiv.org/pdf/2404.07143.pdf