Частотный анализ текста: как найти слова-паразиты в своих статьях

У каждого автора есть слово-костыль. У меня это долго было «действительно» — однажды я нашёл его одиннадцать раз в статье на 900 слов и не помнил, чтобы напечатал его хоть раз. Свои повторы не замечаешь: мозг проскакивает мимо них на автомате. Частотный подсчёт замечает за вас.

Счётчик частоты слов берёт вставленный текст и выдаёт таблицу всех слов, отсортированную по числу повторов, с процентом от общего объёма. Вот и весь инструмент. Что делать с таблицей — зависит от того, зачем вы её открыли.

Редактура собственного текста

Отсортируйте черновик на 1500 слов по частоте — верх списка предсказуем: «и», «в», «на», «что». Их пропускаем. Интересное начинается примерно с десятой позиции, где появляются содержательные слова. Если «решение» встречается на странице продукта 14 раз, читатель почувствовал каждое.

Моё грубое правило: любое содержательное слово с долей выше 1% заслуживает проверки. Это одно вхождение на сто слов — часто нормально, иногда навязчиво. Колонка с процентами превращает проверку в пятисекундное дело.

Поставьте минимальную длину слова 4–5, чтобы скрыть предлоги и союзы и сразу увидеть лексику, которая несёт смысл.

Проверка плотности ключевых слов для SEO

Плотность ключевых слов — долю текста, приходящуюся на целевой запрос, — когда-то накручивали без стеснения. В 2005 году страницы, где ключ занимал 8% текста, спокойно ранжировались. Обновление Google Panda в 2011-м это закрыло, и сегодня переспам скорее вредит.

Но как быстрая проверка плотность всё ещё полезна, причём в обе стороны:

• Ключ занимает 4% и больше — страница, скорее всего, читается как написанная для робота. Переписывайте.
• Ключ встретился один раз на 2000 слов — поисковик может вообще не связать страницу с запросом.

Большинство SEO-авторов держатся в диапазоне 0,5–2%. Магического числа нет, но счётчик хотя бы показывает, где вы находитесь, вместо гадания.

Анализ чужих текстов

Частотный анализ старше SEO на несколько веков. Им спорили об авторстве пьес Шекспира, а стилометрия — атрибуция по частотам употребления слов — в 2013 году помогла раскрыть Джоан Роулинг за псевдонимом Роберт Гэлбрейт. Частоты служебных слов оказались отпечатком пальца: никто не употребляет «впрочем» с той же частотой, что и вы.

Романистов вы вряд ли разоблачаете, но идея работает и в малом масштабе. Студенты составляют частотный словарь иностранного текста перед чтением. Преподаватели прогоняют сочинения через счётчик и видят, не сменился ли вдруг словарный запас студента между работами. Исследователи начинают с него контент-анализ: сначала посчитать, потом интерпретировать.

Что счётчик считает словом

Любую последовательность букв или цифр, так что «кто-то» и «во-первых» считаются одним словом, а не обломками. Знаки препинания отбрасываются. Кириллица, диакритика и иероглифы работают: инструмент делит текст по категориям Юникода, а не в расчёте на английский.

Регистр по умолчанию не учитывается — «Текст» и «текст» складываются вместе. Включите учёт регистра, если важно отделить имена собственные от нарицательных.

Всё работает в браузере. Текст не отправляется ни на какой сервер, поэтому вставлять неопубликованную рукопись или конфиденциальный отчёт безопасно.

Вставьте что-нибудь в Счётчик частоты слов и посмотрите на верх своего списка — слово-костыль у вас уже есть, вы просто ещё с ним не знакомы.