🜂 Как оценивается работа
(Испытание агентностью · система оценки)
Испытание агентностью — это не экзамен и не соревнование.
Это практическая проверка способности встраивать системы в реальную среду и удерживать ответственность за их поведение.
Мы не проверяем:
- резюме и прошлый опыт
- знание конкретных технологий
- принадлежность к профессии
Мы смотрим на другое:
- способен ли участник понять среду и процессы
- может ли спроектировать архитектуру интеграции
- умеет ли связать систему с другими системами
- способен ли довести решение до проверяемого результата
Оценка построена так, чтобы она была понятной и прозрачной и служила участнику навигацией по уровню зрелости, а не просто вердиктом.
Общие принципы оценки
- Оценивается работа и результат, а не личность участника
- Оценивается архитектура системы и её поведение в среде, а не количество функций
- Оценку проводят живые люди, а не алгоритмы
- Искусственный интеллект не участвует в вынесении решений
Баллы нужны не для соревнования, а для того, чтобы участник понял:
- где его сильные стороны
- где есть пробелы
- какие навыки нужно развивать дальше
Кто оценивает
Оценку проводят операторы и команда испытания — люди, которые:
- работают с системами Metabot
- умеют проектировать интеграции
- понимают архитектуру коммуникации и событий
Важно:
- решения принимаются вручную
- оценка не автоматизирована
- при сомнениях учитывается проверяемость и реализуемость решения
Структура испытания
Испытание проходит в два раунда.
Каждый раунд проверяет разный уровень зрелости.
🜁 Раунд 1 — Архитектура и базовая реализация
(формализованная оценка по баллам)
В первом раунде участник должен представить проект интеграции, включающий:
- описание среды и задачи
- коммуникационную карту
- точки интеграции
- модель идентификации пользователей
- архитектуру взаимодействия систем
- логику обработки событий
- прототип или рабочую реализацию
Важно:
участник не обязан быть программистом, но решение должно быть архитектурно осмысленным и реализуемым.
Блок 1 — Понимание среды и задачи
🔹 Критерий 1. Анализ среды
(0–3 балла)
Проверяется, насколько участник понял контекст системы, в которую встраивается сущность.
Оценивается:
- понимание среды
- описание процессов
- корректность постановки задачи
Шкала:
- 0 — среда не описана или описана ошибочно
- 1 — есть поверхностное понимание среды
- 2 — среда описана корректно, но без глубины
- 3 — среда разобрана системно: процессы, роли, ограничения
Блок 2 — Архитектура интеграции
🔹 Критерий 2. Коммуникационная карта
(0–4 балла)
Проверяется способность разложить систему на взаимодействия:
- кто с кем взаимодействует
- какие события возникают
- где происходят переходы и реакции
Шкала:
- 0 — карта отсутствует
- 1 — карта поверхностная или декоративная
- 2 — есть рабочая схема взаимодействия
- 3 — карта хорошо описывает процессы и события
- 4 — карта показывает системную динамику среды
🔹 Критерий 3. Точки интеграции
(0–4 балла)
Проверяется способность определить:
- где системы соединяются
- какие API используются
- какие события инициируют взаимодействие
Шкала:
- 0 — точки интеграции не определены
- 1 — указаны формально
- 2 — определены базовые точки интеграции
- 3 — архитектура интеграции ясна и логична
- 4 — интеграция спроектирована системно
🔹 Критерий 4. Архитектура взаимодействия систем
(0–4 балла)
Проверяется:
- как системы обмениваются данными
- где инициируются действия
- как обрабатываются ответы
- где происходит управление логикой
Шкала:
- 0 — архитектура отсутствует
- 1 — взаимодействие описано фрагментарно
- 2 — архитектура понятна, но неполная
- 3 — архитектура целостная и логичная
- 4 — архитектура системная и хорошо продуманная
🔹 Критерий 5. Идентификация и ответственность
(0–4 балла)
Проверяется понимание:
- идентификации пользователей
- сопоставления ID между системами
- прослеживаемости действий
- сохранения состояния пользователя между системами
Шкала:
- 0 — идентификация не продумана
- 1 — упомянута формально
- 2 — есть рабочая схема идентификации
- 3 — схема корректная и устойчиво описана
- 4 — идентификация и ответственность продуманы системно
Блок 3 — Реализация и исполняемость
(расширенный технический блок)
Этот блок проверяет инженерную сторону решения.
Здесь оценивается способность:
- реализовать интеграции
- работать с API
- связывать системы и события
- реализовывать обработку данных
- обеспечить устойчивую работу решения
Этот блок особенно важен для инженеров и разработчиков, но его элементы могут присутствовать и в low-code / no-code решениях.
🔹 Критерий 6. Реализуемость архитектуры
(0–3 балла)
Проверяется, можно ли реально собрать систему на основе предложенной архитектуры.
Шкала:
- 0 — решение нереализуемо
- 1 — реализация вызывает серьёзные вопросы
- 2 — решение в целом реализуемо
- 3 — архитектура явно готова к реализации
🔹 Критерий 7. Реализация интеграций
(0–5 баллов)
Проверяется, реализованы ли:
- API-взаимодействия
- endpoint
- обработка запросов и ответов
- обмен данными между системами
Шкала:
- 0 — интеграции отсутствуют
- 1 — интеграции обозначены, но не работают
- 2 — реализованы частично
- 3 — реализован рабочий контур интеграции
- 4 — интеграции реализованы корректно и устойчиво
- 5 — интеграции реализованы системно и масштабируемо
🔹 Критерий 8. Работа с событиями и коммуникацией
(0–4 балла)
Проверяется:
- обработка событий
- реакция системы на внешние воздействия
- управление коммуникацией
Шкала:
- 0 — событийная модель отсутствует
- 1 — события обрабатываются примитивно
- 2 — есть базовая событийная логика
- 3 — система корректно реагирует на события
- 4 — событийная архитектура реализована системно
🔹 Критерий 9. Идентификация и связывание пользователей
(0–4 балла)
Проверяется техническая реализация:
- сопоставления пользователей между системами
- хранение идентификаторов
- корректная маршрутизация сообщений
Шкала:
- 0 — идентификация не реализована
- 1 — реализована частично
- 2 — работает базовая схема идентификации
- 3 — идентификация реализована устойчиво
- 4 — реализована корректная система связывания пользователей
🔹 Критерий 10. Качество инженерной реализации
(0–4 балла)
Проверяется:
- аккуратность реализации
- логичность структуры
- устойчивость решения
- возможность масштабирования
Шкала:
- 0 — реализация хаотичная или нестабильная
- 1 — решение работает, но с серьёзными проблемами
- 2 — реализация рабочая, но базовая
- 3 — реализация аккуратная и устойчивая
- 4 — реализация зрелая и инженерно грамотная
Блок 4 — Интегральная зрелость
🔹 Критерий 11. Целостность решения
(0–2 балла)
Оценивается общее впечатление:
- насколько решение собрано
- насколько оно целостное
- можно ли считать его интеграционным проектом
Шкала:
- 0 — решение фрагментарное
- 1 — решение рабочее, но с явными слабостями
- 2 — решение целостное и убедительное
Итог Раунда 1
Максимум: 37 баллов
Рекомендуемые пороги:
Для архитектурных / продуктовых ролей
- 0–14 — не пройдено
- 15–23 — частичное прохождение
- 24–31 — пройдено
- 32–37 — пройдено с отличием
Для инженерных ролей
Требования выше, так как оценивается реализация.
- 0–17 — не пройдено
- 18–26 — частичное прохождение
- 27–33 — пройдено
- 34–37 — пройдено с отличием
Это позволяет:
- аналитикам и продюсерам проявляться через архитектуру
- инженерам — через реализацию
и при этом не искажать смысл испытания.
🜂 Раунд 2 — Индивидуальная калибровка
Во втором раунде участник получает обратную связь по своему решению.
Задача второго этапа — проверить:
- как участник работает с обратной связью
- способен ли углубить решение
- может ли исправить архитектурные слабости
- доводит ли систему до более зрелого состояния
Формат задания индивидуальный.
Он может включать:
- доработку архитектуры
- реализацию интеграций
- усиление инженерной части
- улучшение коммуникационной логики
- оптимизацию взаимодействия систем
Как оценивается второй раунд
Во втором раунде нет публичной балльной шкалы.
Результат фиксируется простой формой:
- Не пройдено
- Пройдено
- Пройдено с отличием
Оценивается:
- способность работать с обратной связью
- глубина доработки решения
- качество финальной системы
- зрелость мышления и ответственности
Итог
Испытание агентностью проверяет способность:
- понять среду
- спроектировать интеграцию
- реализовать взаимодействие систем
- довести решение до рабочего состояния
Это проверка того, способен ли участник становиться интегратором среды, а не просто создателем отдельных компонентов системы.
