Текст из нейросети: как убрать тире и невидимые символы
Почему длинное тире выдаёт машинный текст, что ещё приезжает вместе с буфером обмена и как вычистить всё это за один проход, не испортив пунктуацию.
На клавиатуре нет клавиши длинного тире. Этим объясняется почти всё.
В Windows его набирают, удерживая Alt и напечатав 0151 на цифровом блоке, на Mac это Shift+Option+дефис. Так почти никто не делает: человек ставит дефис, а дальше надеется на автозамену. У модели такого трения нет, U+2014 для неё просто ещё один токен, и она тратит его щедро. Два-три раза на абзац, иногда дважды в одном предложении.
В английских текстах em dash из-за этого превратился в опознавательный знак машинного письма. С русским сложнее, и об этом ниже.
Что заменяет тире
Возьмите абзац из чата и подставьте вместо каждого тире то, что оно собой заменило. В англоязычном тексте это почти всегда запятая, реже двоеточие. Тире позволяет не выбирать, как связаны две половины фразы, и именно за эту расплывчатость модель его и любит.
Очистка текста после ИИ делает такую замену и показывает, сколько знаков нашлось.
Для русского текста я бы поостерёгся. «Москва — столица России» без тире неграмотно, запятая здесь прямая ошибка. Так что для русских черновиков разумнее выбрать режим «оставить тире», а чистить кавычки и невидимые символы. Если текст переводной и в нём тире стоит по английской привычке, замена на запятую обычно идёт ему на пользу.
То, чего не видно
Пунктуация — видимая половина проблемы. Остальное приезжает вместе с буфером обмена.
Чат отдаёт ответ как HTML, поэтому при копировании в текст попадает вся служебная мелочь разметки:
- неразрывный пробел U+00A0, который выглядит как обычный, но обычным не является;
- узкий неразрывный и тонкий пробелы, их ставят вокруг чисел и единиц;
- мягкий перенос U+00AD, невидимый, пока строка не разорвётся именно в этом месте;
- пробел нулевой ширины U+200B, у которого ширины нет вовсе;
- многоточие одним символом U+2026 вместо трёх точек.
При вычитке глазами ничего из этого не заметно. Зато ломается всё остальное. Функция СЖПРОБЕЛЫ в Excel убирает только обычные ASCII-пробелы, поэтому скопированная фамилия с U+00A0 внутри откажется находиться через ВПР, хотя обе ячейки на экране выглядят одинаково. В ссылке на месте такого пробела появляется %C2%A0. А некоторые детекторы ИИ считают плотное скопление невидимых символов отдельной уликой — метод сомнительный, но подставляться незачем.
Где ломается «найти и заменить»
Заменить в Word все — на запятую — дело четырёх секунд, и портит это две вещи.
Тире в начале строки — не стилистика, а реплика в диалоге. Запятая вместо него просто ошибка. Тире между цифрами — диапазон: превратите 1990—2000 в «1990, 2000» и вы поменяете смысл, а не оформление.
Инструмент оба случая оставляет в покое: тире в начале строки не трогает, диапазоны сводит к обычному дефису. Всё остальное меняется по выбранному режиму, и результаты можно сравнить, прежде чем копировать.
Детектор это не обманет
Говорю прямо, потому что немало страниц намекает на обратное. Детекторы смотрят на выбор слов, ритм предложений и предсказуемость следующего токена. Пунктуацию они не измеряют. Здесь убирается то, что живой читатель замечает за две секунды, но сами фразы остаются машинными, и править их всё равно придётся руками.
Считайте это проходом по типографике, как проверку орфографии. Прогоните черновик и прочитайте вслух, что осталось.