Как мы считаем
Определения метрик, как мы отделяем изменения от случайного разброса и чем наш замер отличается от ответа, который вы видите у себя.
Метрики
- Видимость
- Доля ответов, где упомянут ваш бренд или ЖК. В каждом ответе бренд либо есть, либо нет: 520 упоминаний в 1 260 ответах — 41,3 %.
- Средняя позиция
- Среднее место бренда в списке, если нейросеть перечисляет несколько застройщиков. Считаем по ответам с упоминанием. Меньше — лучше.
- Доля голоса
- Ваши упоминания среди упоминаний всех отслеживаемых застройщиков в тех же ответах.
- Видимость сайта
- Доля ответов, где ваш сайт стоит среди источников. Обычно растёт раньше упоминаний: сначала нейросеть начинает ссылаться на сайт, потом называть бренд.
- Тональность
- Оценка от 0 до 100 по фрагменту ответа о бренде: рекомендует, нейтрально или с оговорками. Большинство упоминаний нейтральны, поэтому фактические ошибки о ценах и сроках важнее тональности.
- Роль в ответе
- Главный выбор, альтернатива или просто упоминание. Плюс причина, по которой нейросеть вас назвала.
- Охват
- В скольких нейросетях из подключённых бренд упоминался хотя бы раз за период.
- Место в рейтинге
- Позиция бренда среди конкурентов кампании по видимости.
Общий балл по всем нейросетям всегда показываем вместе с разбивкой по каждой: в разных нейросетях видимость может отличаться в шесть раз. Рядом с каждой цифрой пишем, по скольким ответам она посчитана.
Значимость
Значимо — изменение больше случайного разброса при таком числе ответов. Фиксированного порога нет: чем больше ответов, тем меньший сдвиг мы считаем значимым. Остальное помечаем «в пределах шума» и показываем серым.
| Ответов в периоде | Значимый сдвиг видимости |
|---|---|
| 80 ответов | больше ≈ 15 п. п. |
| 300 ответов | больше ≈ 8 п. п. |
| 1 260 ответов | больше ≈ 4 п. п. |
Для долей (видимость, доля голоса, видимость сайта) используем двусторонний тест разности долей на уровне 95 %, для средней позиции и тональности — тест разности средних. Повторы одного промпта не независимы, поэтому ошибку считаем по промптам, а не по отдельным ответам. Таблица — для видимости около 40 % и одинакового числа ответов в обоих периодах.
Как собираем ответы
- 01
Подбираем промпты
Промпт — вопрос покупателя, который мы задаём нейросетям. Для одного ЖК подбираем 15–30 промптов в четырёх группах: узнать, сравнить, выбрать, про компанию.
- 02
Спрашиваем как новый покупатель
Обращаемся к нейросетям через API, в новом диалоге и без истории. Язык русский, регион поиска — город кампании там, где нейросеть позволяет его задать. Версию модели записываем в каждый ответ, смена модели видна на графике.
- 03
Повторяем каждый промпт
Нейросети отвечают по-разному, поэтому промпты из ядра задаём каждый день, остальные — раз в неделю по 3 раза.
- 04
Разбираем каждый ответ
Достаём шесть фактов: упомянут ли бренд и ЖК, место в списке, роль, что сказано о ценах и сроках, есть ли ссылка на ваш сайт, какие сайты стали источниками.
API-срез и интерфейс нейросети
Мы спрашиваем нейросети через API, в новом диалоге и без истории. В приложении у вас другая история, настройки и местоположение, поэтому ваш ответ может отличаться от нашего замера. На пилоте упоминания бренда совпали в [X] % случаев, место в списке — в [Y] %.
| Нейросеть | Как снимаем | Упоминания | Место |
|---|---|---|---|
| Алиса AI | API той же модели, что в ассистенте, без поиска | [X] % | [Y] % |
| Поиск с Алисой | Официальный генеративный ответ Яндекс Поиска | [X] % | [Y] % |
| GigaChat | API модели, без поиска (в чате поиск есть) | [X] % | [Y] % |
| ChatGPT | API модели со встроенным веб-поиском | [X] % | [Y] % |
| Perplexity | API Sonar со встроенным поиском | [X] % | [Y] % |
| Gemini | API модели с веб-поиском | [X] % | [Y] % |
| DeepSeek | API модели с веб-поиском (в чате свой поиск) | [X] % | [Y] % |
Калибровка на пилоте: 20 промптов × 3 нейросети × 3 повтора вручную в интерфейсе против нашего замера. Совпадение по каждой нейросети опубликуем здесь после пилота. В кабинете и отчётах данные подписаны как API-срез.
Точность разбора
Каждую неделю команда вручную проверяет 5 % ответов и все ответы, на которые пожаловались клиенты. Точность разбора: [точность, %] на [N ответов].