Vals привлекает $40 млн на создание независимых бенчмарк-тестов для ИИ

Andreessen Horowitz инвестирует $40 млн в раунд Series A стартапа Vals, который по принципу чёрного ящика тестирует ИИ-модели в юридической, финансовой и программистской областях. Vals следит, чтобы вопросы оставались в секрете, чтобы никто не смог обучить модель на ответах. За последний год они увеличили выручку в 8 раз.

По мере того как ИИ-лаборатории всё лучше оптимизируются под конкретные бенчмарки, доверять им становится всё сложнее. Vals хочет создать своего рода «совет по тестам», как college board, — непредвзятые тесты, устойчивые к манипуляциям. Иногда мне кажется, что результаты бенчмарков в маркетинговых материалах завышают, так что это отличная новость!