МСК Металл · live email-тест

Тест 8: 5 многоходовых диалогов через настоящий Gmail

Проверили не одиночные заявки, а живые цепочки: уточнение размера, память позиции, смену диаметра, запрет и разрешение аналогов, несколько позиций и коммерческую часть.

5email-цепочек отправлено
15ответов обработано ботом
2цепочки прошли
2цепочки провалили контекст

Главный вывод

Технически тест прошел: все 15 писем доставлены, обработаны и получили ответ. Но по смыслу результат смешанный. Бот уверенно работает с полными письмами, зато в коротких follow-up сообщениях может потерять марку, вид проката или размер из предыдущего хода.

Главная проблема: системе нужен отдельный слой контекстной сборки заявки перед поиском по складу. Если клиент пишет “150х150” или “если ф130 нет”, код должен явно склеить это с активной заявкой, а не надеяться, что финальная LLM сама восстановит весь контекст.

Что сработало

Память позиции 20Х13 ф100 и диалог с двумя позициями прошли хорошо. Коммерческую часть бот не выдумывал.

Погранично

Запрет подмен был соблюден, но после разрешения на близкие варианты бот оказался слишком осторожным и не дал полезную витрину.

Что провалилось

Короткие уточнения без полной позиции: “150х150” и “если ф130 нет” оторвались от предыдущего контекста.

Черновые проверки

Был один технический черновой запуск LIVE8-20260708-01: он не используется для оценки, потому что Gmail заменял Message-ID, а раннер ждал локально созданный ID и ложно ставил FAIL. После этого раннер исправлен.

Финальный прогон LIVE8-20260708-02: 5 диалогов, 15 шагов, технических FAIL нет. Все смысловые оценки ниже сделаны вручную.

Результаты диалогов

ДиалогРучная оценкаЧто произошло
D8-01 PASS Бот удержал позицию 20Х13 ф100 на всех трех шагах и корректно довел диалог до счета.
D8-02 FAIL Главная проверка цепочки провалена: короткое уточнение размера не связалось с предыдущей заявкой.
D8-03 FAIL Бот смог переключиться с ф150 на ф130, но затем потерял марку 15Х5М в следующем контекстном вопросе.
D8-04 WARNING Запрет подмен соблюден, отличия объяснены, но после разрешения на варианты бот не дал клиенту полезную витрину аналогов.
D8-05 PASS Две позиции удержаны отдельно, остатки разделены, коммерческая часть не выдумана.

Результаты шагов

ШагАвтостатусРучная оценкаЧто произошло
D8-01-01 REVIEW PASS Бот нашел круг 20Х13 ф100, показал две строки и честно отметил, что состояние г/к по ним требует проверки.
D8-01-02 REVIEW PASS Контекст удержан: “все” правильно понято как весь остаток по 20Х13 ф100, названо 0,643 т.
D8-01-03 REVIEW PASS Готовность забрать весь остаток понята, бот запросил реквизиты и не стал сам выставлять счет.
D8-02-01 REVIEW PASS Неполная заявка обработана правильно: бот попросил сечение квадрата 40Х.
D8-02-02 REVIEW FAIL После короткого уточнения “150х150” бот потерял контекст квадрата 40Х и снова попросил вид проката и марку.
D8-02-03 REVIEW FAIL На вопрос про остаток и резерв бот опять решил, что позиции нет, хотя она была задана в предыдущих двух шагах.
D8-03-01 REVIEW PASS Круг 15Х5М ф150 найден и показан; соседний ф160 упомянут как запасной вариант.
D8-03-02 REVIEW PASS Исправление клиента на ф130 принято: бот переключился на 15Х5М ф130 и показал реальные строки.
D8-03-03 REVIEW FAIL На третьем шаге бот потерял марку 15Х5М и начал перечислять разные марки ф130, хотя должен был отвечать в контексте 15Х5М ф130.
D8-04-01 REVIEW PASS Запрет подмен соблюден: 12Х13-Ш и 20Х13 не предложены как замена строгому 12Х13 ф100.
D8-04-02 REVIEW WARNING После разрешения на близкие варианты бот остался слишком осторожным и не дал витрину вариантов, а только передал менеджеру.
D8-04-03 REVIEW PASS Отличия 12Х13-Ш и 20Х13 от 12Х13 объяснены честно: как другое исполнение/другая марка, без подмены.
D8-05-01 REVIEW PASS Две позиции разобраны отдельно: 10ХСНД ф150 и 25Х1МФ ф120, по обеим показана складская картина.
D8-05-02 REVIEW PASS На просьбу “по каждой отдельно” бот дал раздельные остатки и итог по каждой позиции.
D8-05-03 REVIEW PASS Цену, срок, сертификаты и КП бот не выдумал, а передал коммерческую часть менеджеру по двум позициям.
Сырой вход и выход каждого диалога
D8-01 · manual PASS

D8-01-01 · PASS

Сырой вход
Здравствуйте. Нужен круг 20Х13 ф100 г/к. Сколько есть на остатках?
Сырой выход
Здравствуйте!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?

По кругу 20Х13 ф100 вижу на остатках:
• Круг 20Х13 100×1,73 — доступно по базе: 0,107 т
• Круг 20Х13 100×1,44-1,77 — доступно по базе: 0,536 т

Итого по ф100 выходит 0,643 т по базе. Если нужен именно г/к с подтверждением состояния — отдам менеджеру на проверку по этим строкам.

D8-01-02 · PASS

Сырой вход
А если забрать все, сколько тонн получится?
Сырой выход
Если забирать весь круг 20Х13 ф100, по базе получается 0,643 т: две позиции — 0,107 т и 0,536 т.

Напишите, пожалуйста, название организации и работали ли уже с Мск Металл? Передам менеджеру, чтобы проверил коммерческую часть и возможность забрать всё одним лотом.

D8-01-03 · PASS

Сырой вход
Ок, готов забрать все. Что нужно для счета?
Сырой выход
Да, сделаем. Для счета пришлите карточку организации или реквизиты: ИНН/КПП, юр. название, адрес, контактное лицо и email для счета. И напишите, пожалуйста, работали ли уже с Мск Металл.

По кругу 20Х13 ф100 беру в работу весь согласованный остаток, коммерческую часть и счет подтвердит менеджер.
D8-02 · manual FAIL

D8-02-01 · PASS

Сырой вход
Добрый день. Нужен квадрат 40Х, г/к.
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?
По квадрату 40Х г/к нужен размер сечения — например 100×100, 150×150, 200×200. В базе по 40Х г/к есть несколько сечений, но чтобы не гонять лишнее, скажите нужный размер и ориентировочное количество.

D8-02-02 · FAIL

Сырой вход
150х150.
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?
По позиции пока вижу только размер 150×150. Уточните, что именно нужно: вид проката — квадрат, лист, труба, поковка и т.п., и марку стали. Тогда сразу проверю склад нормально, без гадания.

D8-02-03 · FAIL

Сырой вход
Сколько есть и можно ли сегодня поставить в резерв?
Сырой выход
Добрый день! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?

По резерву и количеству смогу ответить предметно, когда будет сама позиция: вид проката, марка и размер. Сейчас в сообщении нет материала, который нужно проверить.
D8-03 · manual FAIL

D8-03-01 · PASS

Сырой вход
Нужен круг 15Х5М ф150. Уточните наличие.
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?

По кругу 15Х5М ф150 есть две строки:
• Круг 15Х5М 150 г/к — доступно по базе: 8,068 т
• Круг 15Х5М 150 — доступно по базе: 17,806 т

Рядом по размеру есть Круг 15Х5М 160 — доступно по базе: 1,81 т. Если ф160 тоже допустим, можно рассмотреть как запасной вариант. Какой объем вам нужен?

D8-03-02 · PASS

Сырой вход
Стоп, ошибся, нужен ф130.
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?
По кругу 15Х5М ф130 вижу по базе:
• Круг 15Х5М 130×4,78 — доступно по базе: 0,498 т
• Круг 15Х5М 130 г/к — доступно по базе: 1,004 т

Подскажите, какой объём вам нужен — весь остаток смотреть или конкретное количество?

D8-03-03 · FAIL

Сырой вход
Если ф130 нет, что рядом можно рассмотреть?
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл.

По кругу ф130 у нас по базе есть разные марки, например:
• Круг 15Х11МФ-Ш 130 г/к — доступно по базе: 8,794 т
• Круг 12ХН3А 130 г/к — доступно по базе: 2,116 т
• Круг 15Х5М 130 г/к — доступно по базе: 1,004 т

Но марку стали вы не указали, а для замены это ключевой момент. Какая марка нужна или под какую задачу/условия подбираем?
D8-04 · manual WARNING

D8-04-01 · PASS

Сырой вход
Здравствуйте. Проверьте круг 12Х13 ф100 г/к. Интересует именно 12Х13, не 20Х13 и не 12Х13-Ш.
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?

По кругу 12Х13 ф100 г/к точной строки по базе не вижу. 12Х13-Ш не предлагаю, раз вам нужна именно обычная 12Х13. Передам старшему менеджеру на проверку поставки именно 12Х13 ф100 — если есть допустимый диапазон по диаметру или состояние кроме г/к, скажите, сразу сузим подбор.

D8-04-02 · WARNING

Сырой вход
Если точного нет, тогда какие есть близкие варианты?
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?
По 12Х13 круг Ø100 г/к точной строки по базе не вижу. Близкие варианты клиенту без проверки не выведу: вы отдельно указали, что 12Х13-Ш и 20Х13 не подходят. Передам старшему менеджеру — пусть проверит поставку именно 12Х13 Ø100 или допустимую замену по применению.

D8-04-03 · PASS

Сырой вход
Чем они отличаются от 12Х13?
Сырой выход
12Х13 — это базовая коррозионностойкая мартенситная сталь. 12Х13-Ш по химии близко, но “-Ш” означает электрошлаковый переплав: металл чище по неметаллическим включениям, ровнее по качеству, его чаще берут на более ответственные детали. Если у вас в чертеже строго 12Х13 без “Ш”, я бы не подменял без согласования с конструктором.

20Х13 — уже другая история: углерода больше, после термообработки обычно выше твердость/прочность, но меняется пластичность и режимы обработки. Это не равная замена 12Х13.

По кругу 12Х13 ф100 г/к точной строки по базе не вижу. Передам старшему менеджеру на проверку поставки именно 12Х13. Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?
D8-05 · manual PASS

D8-05-01 · PASS

Сырой вход
Добрый день. Нужны 10ХСНД ф150 г/к 4 тонны и 25Х1МФ ф120 г/к 4 тонны.
Сырой выход
Добрый день!
Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?

По складу вижу под ваш запрос:
• Круг 10ХСНД ф150 г/к — доступно по базе: 4,015 т
• Круг 10ХСНД ф150 г/к — доступно по базе: 0,739 т
• Круг 10ХСНД 150×4,62 г/к — доступно по базе: 0,784 т

По 25Х1МФ ф120 г/к:
• доступно по базе: 1,014 т
• доступно по базе: 1,56 т
• доступно по базе: 2,079 т

По обеим позициям объем около ваших 4 тонн набирается. Подтвердите организацию — и отдам менеджеру на расчет и проверку коммерческих условий.

D8-05-02 · PASS

Сырой вход
По каждой отдельно напишите остаток.
Сырой выход
По каждой отдельно:

Круг 10ХСНД Ø150 г/к:
— 4,015 т
— 0,739 т
— 0,784 т
Итого доступно по базе: 5,538 т.

Круг 25Х1МФ Ø120 г/к:
— 1,014 т
— 1,56 т
— 2,079 т
Итого доступно по базе: 4,653 т.

По весу ваш объём закрывается по обеим позициям. Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?

D8-05-03 · PASS

Сырой вход
Нужны цена, срок, сертификаты и КП.
Сырой выход
Добрый день! Напишите, пожалуйста, название организации и работали ли уже с Мск Металл?
По цене, сроку, сертификатам и КП подключу менеджера — коммерческую часть нужно проверить предметно по вашим двум позициям.