«Токены имеют разную стоимость»

Надеюсь, Альтман не подписан на твой канал

Вопрос в том как верефицировать реальную пользу получаемую с токенов и как понять, что модель не затупила, если предположим взять программирование, то мы можем верифицировать путем уже каких-то решенных задач и RL методом, то тут у нас нету критерия оценки модели как например в alphafold, что модель в действительности выдала пользу) Т.е получается что сверху нужно обучать еще одну модель и напрягать еще GPU для оценки, а это доп бабки на RND) А это скорость выдачи этих токенов будет ниже и так сейчас думают как закешировать эти контекстные окна)

Искра вдохновения

а как тогда быть с задачами, где сложность и польза для пользователя неочевидны сразу — например, творческое письмо или философский совет — и кто будет определять, сколько за это платить, если даже сама модель не всегда знает, насколько её ответ был полезен?

Лучше сделать динамичное ценообразование в зависимости от длинны контекста, чем больше контекст - тем сложнее задача, чем сложнее задача - тем дороже ее решение стоит

Секреты зарабатывания денег - самые дорогие должны быть))

Не подсказывай им)

Если сверху будет надстройка в виде модели, которая решает, какой другой модели (с какой стоимостью) отдать задачу, то так по факту и будет. Сакана что-то подобное делает, если я правильно понимаю их концепцию. В целом, ничто не мешает тому же антропику сделать такого валидатора и решать, привлекать к задаче опус, сонет или хайку.