МСК Металл · контроль после правки промта
Тест 5: первые пять live email-заявок
Повторно отправили первые пять писем из предыдущего теста через настоящий Gmail и проверили не только факт ответа, но и полезность ответа для покупателя.
5реальных писем отправлено
5писем обработано ботом
3прошли ручную оценку
2провалили клиентскую пользу
Главный вывод
Технически контур живой: Gmail принял письма, бот создал заявки, ответы ушли, менеджерские уведомления сформировались.
Но смысловая проверка важнее автоматики: в двух письмах поиск нашел правильные строки, а клиентский ответ сказал, что точной позиции не видно. Это реальный дефект качества ответа.
Что работает
Канал email, создание заявок, поиск по базе и отправка ответов.
Что сломано
Модель иногда не переносит найденные строки из складского контекста в клиентский ответ.
Результаты
| Кейс | Автостатус | Ручная оценка | Что произошло |
|---|---|---|---|
| T5-01 | AUTO_PASS | PASS | Круг 20Х13 ф100 найден, клиент получил остаток и честное уточнение, что до 3 т не хватает. |
| T5-02 | AUTO_PASS | PASS | Квадрат 45 200х200 найден, клиент получил остаток. |
| T5-03 | AUTO_PASS | FAIL | Арматура 35ГС 18 А3 была в базе, но клиенту написали, что точной строки не видно. |
| T5-04 | AUTO_PASS | PASS | Круг ХВГ ф100 найден, клиент получил несколько партий. |
| T5-05 | AUTO_PASS | FAIL | По 12Х18Н10Т были строки ф40 и ф50, но клиенту написали, что точной строки нет. |
Провалы
T5-03 · Арматура 35ГС 18 А3
В базе была строка: Арматура 35ГС, 18, А3, 7,522 т. Ответ клиенту сказал, что точной строки не видно.
T5-05 · 12Х18Н10Т и 08Х18Н10Т
В базе были 12Х18Н10Т Ø40/Ø50 и 08Х18Н10Т Ø40. Ответ показал только 08Х18Н10Т и потерял 12Х18Н10Т.
Сырой вход и выход каждого письма
T5-01 · auto AUTO_PASS · manual PASS
Сырой вход
Здравствуйте! Интересует круг 20Х13, диаметр 100, состояние г/к. Нужно порядка 3 тонн. Пришлите пожалуйста цену с НДС и сроки отгрузки. С уважением, Игорь.
Сырой выход
Добрый день, Игорь! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл? По кругу 20Х13 Ø100 вижу по базе две строки: • Круг 20Х13 100×1,73 — доступно по базе: 0,107 т • Круг 20Х13 100×1,44-1,77 — доступно по базе: 0,536 т Итого по Ø100 получается меньше ваших 3 тонн. Рядом есть круг 20Х13 Ø110 г/к — доступно по базе: 0,046 т, но это уже другой диаметр, только если вам такая замена допустима. Цену с НДС и срок отгрузки по этим позициям сейчас передам менеджеру на проверку.
T5-02 · auto AUTO_PASS · manual PASS
Сырой вход
добрый день нужен квадрат 45 200х200 сколько есть на складе? возьму все
Сырой выход
Добрый день! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл? По квадрату 45 200×200 доступно по базе: 0,417 т. Если забираете всё — эту позицию передам в работу. Если замена марки допустима, можно рассмотреть квадрат 45Г17Ю3 200×200 г/к — доступно по базе: 4 т. Такой вариант подходит или строго нужна сталь 45?
T5-03 · auto AUTO_PASS · manual FAIL
Сырой вход
Здравствйте, подскажите есть арматура 35гс 18я А3? надо тонн 5-6 срочно на объект, оплата по безналу сегодня же. телефон в подписи
Сырой выход
Добрый день! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл? По арматуре 35ГС А3 диаметром 18 на 5–6 тонн точной строки по базе не вижу. Передам старшему менеджеру на проверку поставки/замены, срочность и безнал сегодня отмечу.
T5-04 · auto AUTO_PASS · manual PASS
Сырой вход
Нужен круг хвг 100 гк. Скиньте наличие и ценник. Забираем самовывозом.
Сырой выход
Добрый день! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл? По кругу ХВГ 100 г/к есть несколько партий: • Круг ХВГ 100 г/к — доступно по базе: 0,202 т • Круг ХВГ 100 г/к — доступно по базе: 1,562 т • Круг ХВГ 100 г/к — доступно по базе: 1,116 т • Круг ХВГ 100 г/к — доступно по базе: 0,938 т • Круг ХВГ 100 г/к — доступно по базе: 0,174 т • Круг ХВГ 100 г/к — доступно по базе: 1,544 т Ценник и возможность отгрузки самовывозом сейчас передам менеджеру на проверку. Какой вес вам нужен — всю позицию смотреть или часть?
T5-05 · auto AUTO_PASS · manual FAIL
Сырой вход
Прайс есть на нержу 12х18н10т? интересует круг 40-50мм, кг 300-400. и еще 08х18н10т если будет
Сырой выход
Добрый день! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл. По 08Х18Н10Т есть круг 40 г/к — доступно по базе: 0,117 т. По 12Х18Н10Т точной строки по базе не вижу. Передам старшему менеджеру на проверку цены, добора до 300–400 кг и возможной поставки.