17 сентября 2020 1821
Давным-давно, в 1997 году, Брайан Марик написал статью "Классические ошибки тестирования". В 2009 году я провел анализ  текущего состояния этих ошибок, и тогда тенденция казалась мне обнадёживающей. Сейчас, через 11 лет,  я решил провести новый анализ состояния этих ошибок и познакомить вас с моим мнением, оценками и сомнениями. Окей, гуру, улучшилось ли что-то за 23 года? Спойлер: нет. Почему и как это исправить? Делитесь мнением в комментариях.
Окей, гуру! Классические ошибки тестирования  - тогда и теперь

«Давным-давно, кажется в прошлую пятницу, жил в одной стране
медвежонок, под именем Винни-Пух. А почему под именем?
Потому что над его дверью была надпись «Винни-Пух»,
а он под ней жил.»

А.Милн. «Винни-Пух и все-все-все»


Давным-давно, в 1997 году, Брайан Марик написал статью "Классические ошибки тестирования". В этой статье ошибки тестирования были классифицированы по нескольким областям, перечисленным ниже.

В 2009 году я провел анализ  текущего состояния этих ошибок, и тогда тенденция казалась мне обнадёживающей.

Сейчас, через 11 лет,  я решил провести новый анализ состояния этих ошибок и познакомить вас с моим мнением, оценками и сомнениями. 

Но давайте по порядку.

Роль тестирования

Ошибки, обнаруженные Б. Мариком:

  • Представление о том, что тестировщики отвечают за обеспечение качества

  • Представление о том, что цель тестирования – найти дефекты

  • Представление о том, что тестировщики пропускают важные дефекты

  • Вопросы удобства использования системы не считаются важными

  • Нет фокуса на оценке качества (и качестве оценок)

  • Отчет о дефектах вне контекста их появления

  • Слишком позднее начало тестирования

Планирование трудозатрат на тестирование

  • Усилия по тестированию сосредоточены на функциональном тестировании

  • Недооценка роли конфигурационного тестирования

  • Откладывание до последней минуты стрессового и нагрузочного тестирования

  • Не тестируется документация

  • Не тестируется процедура установки системы

  • Переоценка надежд на бета-тестирование

  • Переход к выполнению тестовой задачи только после завершения предшествующей

  • Некорректная идентификация рисков

  • Жесткое следование плану тестирования

Личные качества

  • Тестирование как временная работа для новых программистов

  • Набор тестировщиков среди неудавшихся программистов

  • Тестировщики не владеют предметной областью тестируемого приложения

  • Тестировщик должен уметь программировать

  • Формирование команды тестировщиков, в которой отсутствует «личностное разнообразие»

  • Физическое разделение программистов и тестировщиков

  • Программисты не могут тестировать собственный код

  • Программистов не поощряют и не обучают тестировать

Работа тестировщика

  • Фокус на прогоне, а не на разработке тестов

  • Не проводится ревью проектирования тестов

  • Излишняя / недостаточная детализация тестовых сценариев

  • Не фиксируются и не исследуются «странные» ситуации

  • Проверка не только того, что система должна делать, но и того, что она не должна делать

  • Тестовые сценарии понятны только их авторам

  • Тестировщики используют только графический пользовательский интерфейс

  • Плохие описания дефектов

  • Недостаточность регрессионного тестирования при обнаружении нового дефекта

  • Игнорирование накопленного опыта тестирования

Автоматизация тестирования

  • Планирование автоматизации всех тестов

  • Автоматизация всех ручных тестов

  • Использование  инструментов автоматической записи тестов через графический интерфейс

  • Ожидание большого числа новых дефектов при регрессионном тестировании

Покрытие кода

  • Тестирование против покрытия кода имеет ту же самую цель, что и тестирование против требований

  • Сокращение объемов регрессионного тестирования, поскольку оно не добавляет покрытия

  • Использование покрытия кода как метрики производительности тестировщиков

  • Полный отказ от покрытия кода

Bug

Что же улучшилось за 23 года?

К сожалению, особо ничего :(

Многие по-прежнему считают, что:

  • Тестировщики отвечают за качество, хотя цель тестирования – дать объективную оценку качества разрабатываемого и поставляемого продукта

  • Тестировать надо против требования, хотя есть и неявные требования, и в требованиях бывают ошибки

  • Серьезность дефекта можно устанавливать «по договоренности», а не на основании принятой всеми классификации

  • Метрики тестирования, статическое тестирование, модульное тестирование – без всего этого можно обойтись

  • Если каждую функцию можно протестировать отдельно, они прекрасно будут работать вместе

  • Документацию тестировать не надо, главное – протестировать систему

  • Никаких рисков в тестировании нет и быть не может

  • Любой может работать тестировщиком - знать и уметь для этого ничего не надо

  • Поиск тестировщиков не производится среди технических писателей и служб поддержки, хотя из них получаются прекрасные тестировщики, хорошо знающие систему и потребности пользователей

  • Тестовые сценарии – это излишество, в крайнем случае используются чек-листы

  • Если все тестовые сценарии перестали обнаруживать дефекты, тестирование закончено

  • Тестовые сценарии должны быть понятны только их авторам

  • Автоматизация всех ручных тестовых сценариев– это круто!

  • А автоматизация вообще без тестовых сценариев – это супер-пупер-круто!

  • Если автоматизировать регрессионное тестирование, можно найти гораздо больше дефектов


Как думаете, почему все это не так? Как это исправить?

Поделитесь мнением в комментариях

Ваш гуру, Александр

Последние статьи в блоге

Станьте архитектором ПО с выгодой! Только в апреле сэкономьте 20 000 ₽ и получите новый модуль по микросервисам в подарок

24 апреля стартует обучение на комплексной программе «Архитектор ПО. Путь к мастерству в проектировании систем»*.

14 апреля 2025

Архитектурные ошибки в корпоративных системах, которые могут создать проблемы в долгосрочной перспективе

В основе любой информационной системы — сложная структура. Спроектировать ее не легче, чем построить дом. Какие ошибки можно допустить при планировании ИТ-архитектуры, и в чем их основные причины? К чему они могут привести в долгосрочной перспективе и как этого избежать? Рассказывает Михаил Рощин, заместитель директора отделения управления проектами и архитектуры IBS.

Новости
10 апреля 2025

Кейс: Интенсив по управлению проектами для промышленной компании

Мы адаптировали курс по управлению проектами под запрос команды крупной промышленной компании и провели обучение. Вот что из этого вышло.

27 марта 2025

Кейс: Обучение сотрудников крупной компании работе с ClickHouse

Рассказываем, как мы организовали обучение команды работе с этой новой для заказчика технологией и каких результатов достигли.

19 марта 2025

Платформа сертификации IBS получила аккредитацию АПКИТ

Ассоциация предприятий компьютерных и информационных технологий (АПКИТ) приняла новый регламент сертификации ИТ-специалистов.

Новости
10 марта 2025

Специальные акции на учебные программы

У нас отличная новость для всех, кто стремится развивать свои навыки в мире ИТ.

06 марта 2025

Как остановить спам-атаку

Современный цифровой мир не обходится без рисков, и спам-атаки стали одной из наиболее распространенных угроз. Независимо от того, поступают ли они на ваш телефон, электронную почту или мессенджеры, массовые потоки таких сообщений могут быть крайне раздражающими и даже опасными. Спамеры используют эти атаки не только для рекламы, но и для мошенничества, фишинга или распространения вредоносных ссылок.

06 марта 2025

Учебный центр IBS подписал партнерское соглашение с ООО «РусБИТех-Астра», разработчиком российской операционной системы Astra Linux.

Теперь мы можем проводить авторизованное обучение по работе с Astra Linux для специалистов в области информационной безопасности.

17 февраля 2025

Двойная выгода: покупай один курс — получай второй за 50% стоимости!

Воспользуйтесь возможностью изучить более глубокие аспекты одной области — например, при покупке курса по Java, архитектуре ПО, управлению проектами, системному и бизнес-анализу, тестированию ПО и Big Data вы можете получить второй курс этой же тематики за полцены! Не упустите шанс развить свои навыки и поднять свою карьеру на новый уровень. 

29 января 2025

Сертификация преподавателя Java-разработки для крупного провайдера ИТ-обучения

Подтверждение квалификации значимо не только для ИТ-специалистов, работающих в сфере коммерческой разработки, но и для преподавателей, обучающих будущих экспертов в этой области. Делимся историей одного из преподавателей крупного провайдера ИТ-курсов, который успешно прошел Java-сертификацию.

Новости
21 января 2025

Системный аналитик 100 lvl — дорожная карта развития

Все, что нужно знать для роста в профессии: какие блоки знаний проседают у системных аналитиков больше всего, на какие компетенции важно обратить внимание, чтобы двигать карьеру дальше, и как подтвердить соответствие своего уровня единому стандарту качества.

23 декабря 2024

Платформа сертификации IBS признана лучшим digital-решением для корпоративного обучения

Центр сертификации IBS стал обладателем Гран-при премии «Смарт пирамида» — одной из самых престижных российских премий за достижения в области обучения и развития человеческого капитала.

20 декабря 2024

Учебный центр IBS получил сертификат ГОСТ Р ИСО 9001-2015

В октябре 2024 года Учебный центр IBS получил сертификат соответствия ГОСТ Р ИСО 9001-2015. Это важное достижение подтверждает, что мы придерживаемся высоких стандартов качества и результативно управляем образовательными процессами организации.

19 декабря 2024

9 курсов со скидкой до 50%

Друзья, в январе стартует 9 курсов, обучение на которых можно купить со скидкой до 50%*! 

15 декабря 2024

8 заблуждений про тестирование

Тестирование программного обеспечения окружено множеством заблуждений. Эти стереотипы нередко приводят к недопониманию его реальной роли и важности для успешного создания продуктов. Рассмотрим восемь самых распространенных мифов о тестировании и объясним, почему они не соответствуют действительности.

15 декабря 2024

Путь к Fullstack-тестировщику: что нужно знать о ручном и автоматизированном тестировании?

Тестирование программного обеспечения — одна из самых востребованных областей в IT. И часто новички и даже опытные специалисты, желающие строить свою карьеру в этом направлении, часто сталкиваются с вопросом: какое тестирование выбрать — ручное, автоматизированное или Fullstack? У каждого из этих направлений свои особенности, преимущества и требования к знаниям. В этой статье рассмотрим каждое из направлений, их плюсы и минусы, области применения и навыки, необходимые для успеха.

15 декабря 2024

Совет по развитию сертификации ИТ-специалистов при АПКИТ аккредитовал «Платформу сертификации IBS»

Директор департамента обучения и развития IBS Владимир Гернер участвовал в заседании Совета по сертификации ИТ-специалистов при АПКИТ.

Новости Жизнь компании
08 октября 2024

Java-сертификация: IBS в сравнении с Oracle

Игорь Судакевич рассказывает, почему сертификаты могут стать важным инструментом для достижения карьерных целей.

Новости
04 октября 2024

Исследование IBS: число новых ИТ-решений в реестре ПО выросло в 2023 году более чем на треть

Анализируем ситуацию на рынке российского ПО.

Жизнь компании
01 октября 2024

6 суперспособностей Fullstack-тестировщиков, которые напоминают навыки животных

Читайте о скиллах, которые делают тестировщиков востребованными на рынке труда.

27 сентября 2024

Не нашли, что искали? — Просто напишите, и мы поможем

Корпоративное обучение Оценка персонала Сертификация О нас Стань тренером Блог
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.