что такое allure report
TestOps:
Будущее тестирования
Российский open-source проект Allure Report генерирует более 26 миллионов тестовых отчетов ежемесячно
Представители стартапа Qameta Software поделились с CNews статистикой использования Allure Report, универсального репортинг инструмента с открытым исходным кодом, предназначенного для тестирования ПО.
«Наша пользовательская база стабильно растет на 10% в месяц. Конечно, наша аналитика не является истиной в последней инстанции, так как мы наблюдаем лишь ту часть наших пользователей, которые генерируют отчеты вне закрытого контура и согласны на сбор и отправку анонимной аналитики. За последние 30 дней их оказалось более 2,3 миллиона, и они более 26 миллионов раз сгенерировали отчеты по итогам тестовых “прогонов”. На первом месте по использованию продукта — США, Россия занимает второе место, а замыкает тройку лидеров Китай», — дает комментарий Руслан Ахметзянов, руководитель направления Developer Relations Qameta Software. Также, по мнению представителей компании, все больше крупных организаций задумываются о масштабной автоматизации тестирования.
Тема OSS в последнее время активно обсуждается в российском информационном поле. Например, 1 октября на Russia Open Source Summit Илья Массух, глава центра компетенций по импортозамещению в сфере информационно-коммуникационных технологий рассказал о планах по созданию Russian Open Source Foundation — некоммерческой организации (НКО) или фонда для развития софта с открытым кодом (open source).
Allure Report — мультиязычный open-source инструмент, позволяющий гибко строить полезные для тестировщиков и разработчиков и прозрачные для менеджеров отчеты о тестировании. Allure Report автоматизирует сортировку тестов на баги, дефекты и сломанные тесты и отображает результат в TMS, багтрекере или в web-отчете.
Вебинар
Автоматизация тестирования как сервис
Ручное и автоматизированное тестирование оказалось разнесено по разные стороны баррикад. Исторически все процессы строились вокруг ручного тестирования, а когда в QA пришла автоматизация, многие процессы и роли в управлении качеством ПО не успели приспособиться. Это привело к тому, что ручное и автоматизированное тестирование работают параллельно, не используя наработок друг друга.
Другие статьи по теме
Как оптимизировать затраты на команду и систему управления тестированием
Что происходит в индустрии разработки, как в современных условиях обеспечивают контроль качества, как тестирование изменяется в мире DevOps, почему российские разработки в этой области востребованы в Apple, Huawei, Disney и других глобальных корпорациях?
На эти и другие вопросы CNews отвечают Станислав Селиверстов, CEO Qameta Software, Артём Ерошенко, CPO (Chief Product Officer) Qameta Software и Дмитрий Баев, CTO Qameta Software
От DevOps к TestOps: как ускорить процессы тестирования новых приложений и ПО
Индустрия разработки программного обеспечения в течение нескольких лет переживает бум, конца которому не видно. Экономике, индустрии — а в более широком смысле, цивилизации — нужно больше программ.
Задачи перед разработчиками становятся все сложнее, в ряде случаев их не решить экстенсивным наращиванием количества задействованных специалистов. Чтобы разработка шла в нужном темпе и с требуемым качеством необходимо создавать профильную культуру и развивать под нее нишевую ИТ-инфраструктуру.
Александр Александров про тренды и технологии тестирования, про влияние Covid19 на рынок QA
Продолжу хвастаться статусом книги.
Онлайн-тренинги
Что пишут в блогах (EN)
Разделы портала
Про инструменты
Автор: Руслан Ахметзянов, Qameta Software
Любая команда, создающая новый продукт, сталкивается с заблуждениями пользователей или сообщества. Если продукт не просто новый, а концептуально новый — таких заблуждений становится в разы больше.
За Allure TestOps с самого начала тянется немало мифов. В некоторые из которых в начале пути мы верили и сами (например, в пятый!). В этой статье мы поделимся наиболее частыми заблуждениями и постараемся развеять их.
Миф 1. Allure TestOps — еще одна TMS
Пожалуй, чаще всего мы сталкиваемся именно с этим заблуждением. Обычно такая точка зрения озвучивается людьми, не изучавшими систему в деталях. Действительно, базовый набор функций типичной TMS есть в Allure TestOps: создание тест-кейсов, управление планами тестирования, назначение тестов на конкретных специалистов, прогон тестов и аналитика по результатам их выполнения. И все это отлично работает для ручных тестов, а для автоматизации есть набор API-интерфейсов, с которыми вы можете сами написать базовую интеграцию для используемой технологии.
Правда в том, что в случае Allure TestOps эта функциональность не является основной! Мы построили систему вокруг управления процессом тестирования по принципам DevOps:
Эти принципы, реализованные на базе Allure TestOps, позволяют строить тестирование с заделом на будущее.
Миф 2. Чтобы пользоваться Allure TestOps, надо уходить с привычных инструментов
Такое мнение чаще всего становится выводом из первого мифа — если Allure TestOps является TMS, то нам придется переезжать с нашей привычной системы управления тестами. Однако все не совсем так.
Правда в том, что хоть большая часть пользователей действительно переезжает на TestOps полностью, многие оставляют в обойме старые привычные инструменты для управления ручным тестированием, включая наш продукт как систему управления автоматизацией.
За примером далеко ходить не надо: Allure отлично уживается рядом с TestRail у многих наших клиентов, выступая в качестве простого решения для управления всеми автоматизированными тестами — так получается проще, чем писать и поддерживать зоопарк интеграций с CI-системами и фреймворками для тестирования.
Для таких пользователей в планах развития у нас есть плотная интеграция с TestRail и другими популярными TMS.
Миф 3. Allure TestOps не подходит командам с ручным тестированием
Сравнивая Allure TestOps с TMS, многие ручные тестировщики отмечают множество неочевидных и «странных» решений: ярким примером здесь является логика хранения тест-кейсов в дереве (почему так, я писал отдельно). На самом деле, часто подобные замечания оказываются верны — поскольку Allure TestOps является automation first системой, решения для ручных тестировщиков реализованы непривычно.
Причина проста: мы верим в то, что главная задача тестировщика в разработке тест-планов, создании тест-кейсов под автоматизацию и решении нетривиальных задач, а не в том, чтобы каждый раз перед релизом прокликивать степы в TMS.
Это не значит, впрочем, что такие решения не подходят командам с большим штатом ручных тестировщиков — Allure TestOps умеет делать с ручными тестами все, что должна уметь классическая TMS:
Миф 4. Allure TestOps дорого обходится
Мир инструментов для QA-подразделений все еще зелен и юн — многие считают, что покупка инструментов — это дорого, а для всего остального есть Mastercard. 🙂
Первая проблема оценки заключается в том, что нас (в результате Мифа 1) сравнивают с TMS. И некоторые из них действительно на первый взгляд выглядят дешевле. Чтобы не быть голословным, приведу сравнительную таблицу с прайсами систем, с которыми нас чаще всего сравнивают:
Мы посмотрели на медианный trial-запрос и решили сделать сравнение на примере 10 лицензий.
Правда в том, что Allure TestOps сверху функциональности умеет еще кое-что. Кое-что важное, а именно — полноценное нативное управление автоматизированным тестированием. Так что к ценам выше придется прибавить стоимость разработки и поддержки самописных интеграций с тестовой инфраструктурой или вот такими инструментами вроде Katalon Runtime Engine / Studio.
Более того, за счет оптимизации процессов и тонкой настройки тестирования в долгосрочной перспективе Allure TestOps позволяет сильно сократить расходы на QA по двум направлениям: штат сотрудников (а это не только ЗП, но и офис, оборудование, расходы на найм и удержание и еще много чего) и расходы на тестовую инфраструктуру (оптимизированный под большие нагрузки Allure TestOps построен так, чтобы не перегревать инфраструктуру и каналы). Но про это можно написать отдельную статью.
Миф 5. Мы сами напишем свой TestOps за пару месяцев
Не самый распространенный миф, с которым мы периодически сталкиваемся на конференциях, в тематических чатах и других «общественных» местах. Оно и понятно, в чем проблема забутстрапить очередной CRUD-сервис, гоняющий результаты тестов в БД и отображающий красивую аналитику на базе любого JS-фреймворка?
Как говорится в известном анекдоте: есть нюанс. Allure TestOps построен на базе Allure Report, так что давайте начнем с него. Чтобы построить подобную систему, придется:
Хорошо, теперь мы умеем собирать данные! Следующее, с чем придется столкнуться — реализация протокола передачи результатов. По сути, у вас будет два глобальных пути: асинхронный обмен батчами и синхронизированные http-запросы. К слову, по второму пути идут практически все TMS, не даром у TestRail есть ограничение на 300 запросов в минуту (5 в секунду). Если для ручных тестов такой подход работает, то 10 000 автотестов надо будет ждать как минимум полчаса.
Значит, идем по асинхронной передачи тестовых данных. Вот только в батчах наши данные потеряют контекст (который хорошо передается в синхронном режиме) — надо подумать, как хранить его на стороне сервиса или передавать в батчах, синхронизировать с историческими данными и обрабатывать так, чтобы ничего не разваливалось. Для нашей команды эта задача оказалась одной из наиболее сложных.
В общем, пятый миф уже тянет на отдельную статью, так что просто скажу, что мы еще не дошли до проблем сериализации результатов, UI/UX, политиками доступа и безопасности. В заключение хочется сказать, что в Allure-сообществе есть крутые ребята, которые пилят «свой TestOps», и проекты получаются классные, рекомендуем посмотреть, какая нужна кодовая база, чтобы агрегировать несколько отчетов: Allure-Server и Allure-EE. А если мы вас не переубедили — заходите в ТГ-чат @allure_ru, поможем, подскажем!
Выводы
На этом список мифов подходит к концу, хотя его можно продолжать еще долго.
В заключение хочется дать один простой совет — как с любой сложной системой, выбирать платформу для управления качеством стоит под собственные запросы и задачи.
Пробуйте, смотрите и тестируйте: мы для этого предоставляем месячный trial-период Allure TestOps, в рамках которого саппорт будет помогать вам с настройкой и эксплуатацией системы, а также настройкой процессов под ваши требования.
Что такое allure report
Allure Framework is a flexible, lightweight multi-language test report tool that not only shows a very concise representation of what has been tested in a neat web report form but allows everyone participating in the development process to extract the maximum of useful information from the everyday execution of tests.
You can use one of the following ways to get Allure:
Grab it from releases (see Assets section).
For Windows, Allure is available from the Scoop commandline-installer. To install Allure, download and install Scoop and then execute in the Powershell:
All the documentation is available on our website.
DevOps-ready Testing Platform that brings together automated and manual testing. Level up your product quality control and boost your QA and development team productivity by setting your TestOps. Try it on our website.
Follow @QametaSoftware and its team members on Twitter. In-depth articles can be found at Qameta Blog. Also feel free to join our GitHub discussions or Telegram chat (ru).
Please note that this project is released with a Contributor Code of Conduct. By participating in this project you agree to abide by its terms.
This project exists thanks to all the people who contribute. [Contribute].
The Allure Framework is released under version 2.0 of the Apache License.
About
Allure Report is a flexible, lightweight multi-language test reporting tool. It provides clear graphical reports and allows everyone involved in the development process to extract the maximum of information from the everyday testing process
Русские Блоги
Allure Test Report
Структура отчета о тестировании, которая не только выглядит красиво, но и облегчает интеграцию CI.
1. Конфигурация среды
Установите Python-зависимые библиотеки:
pip3 install pytest
pip3 install pytest-allure-adaptor
Установите Command Tool:
brew tap qatools/formulas
brew install allure-commandline
Во-вторых, создать команду отчета HTML
1. Добавьте –alluredir к команде pytest для генерации xml-отчета.
После того, как вариант использования будет завершен, он будет [xml_report_path] Куча файлов создается в каталоге xml Файл отчета, конечно, это не тот эстетический отчет, который нам нужен в конечном итоге. 
2. Вам нужно использовать Command Tool для создания прекрасных отчетов, которые нам нужны.
Откройте index.html, отчет о ситуации, написанный ранее, будет представлен вам следующим образом: 
Замечания: Откройте отчет напрямую в браузере Chrome, отчет может быть пустой страницей.
Решение:
1. Щелкните правой кнопкой мыши index.html в pycharm и выберите «Открыть в браузере».
2. Используйте Firefox, чтобы напрямую открыть index.html.
3. Индивидуальный отчет
Особенность: аннотировать основные функциональные модули
Story: аннотируйте функцию ветвления в функциональном модуле функций
Серьезность: отметьте уровень важности контрольных примеров
Шаг: важные шаги для пометки контрольных примеров
Issue and TestCase: пометьте Issue and Case, вы можете добавить URL
1. Подробная настройка функций
Добавьте функцию, отчет показан на рисунке ниже: 
2. Подробная настройка истории
Добавьте историю, и отчет будет показан на рисунке ниже: 
3. Используйте заголовок и настройку описания варианта использования.
Добавьте заголовок варианта использования и описание варианта использования. Отчет показан на рисунке ниже: 
4. Подробное объяснение настройки серьезности
Определение степени тяжести в Allure:
1. Уровень блокировки: дефект прерывания (клиентская программа не отвечает и не может выполнить следующую операцию)
2. Критический уровень: критический дефект (отсутствует функциональная точка)
3. Нормальный уровень: общий дефект (ошибка численного расчета)
4. Незначительный уровень: незначительные дефекты (ошибка интерфейса не соответствует требованиям интерфейса)
5. Тривиальный уровень: незначительные дефекты (нет подсказок для обязательных элементов или нестандартных подсказок)
Добавьте серьезность, отчет показан на рисунке ниже: 
5. Шаг настройки
Добавить шаг, отчет показан на рисунке ниже: 
6. Подробная настройка Issue и TestCase
Добавьте Issue и TestCase, отчет показан на рисунке ниже: 
8. Подробное объяснение настройки прикрепления
Добавьте приложения к отчету: allure.attach («arg1», «arg2», «arg3»):
arg1: имя вложения, отображаемого в отчете
arg2: указывает на содержание вложения
arg3: указывает добавленный тип (поддержка: HTML, JPG, PNG, JSON, OTHER, TEXTXML)
Добавьте параметр attach, отчет показан ниже: 
Selenium Easy
Free selenium tutorials for beginners and experts
Allure report example using testng and maven
Allure is an open-source framework designed to create interactive and comprehensive test report by Yandex QA Team
Each time when we run automation tests, we will have test results to view details about no. of tests passed, failed and failure details etc. And few reports also include test failure screenshots. We have discussed selenium examples on Extent report and testng custom report with screenshots.
Let us now look at Allure Reports
When we run our tests, every popular test framework generates junit-style xml report which will be used by Allure to generate HTML report.
In the below example, we use maven surefire plugin which automatically generates xml test reports and stored in target/surefire-reports. And these XML files are transformed to an HTML report by Allure.
Allure reports has provided adapters for Java, PHP, Ruby, Python, Scala and C# test frameworks.
To generate allure report, we have to first install Allure command line application.
The simplest way to do this For Windows, using Scoop commandline-installer. Scoop is a command-line installer for Windows.
Run below command from your PowerShell to install scoop to its default location (C:\Users\ \scoop)
One of the easiest way to start PowerShell in Windows, is using Run window. Press Win + R keys on your keyboard, then type powershell and press Enter or click OK.
In the above case, it was already installed, so you a message as ‘Scoop is already installed’. You can run ‘scoop update’ to get the latest version any time.
To install Allure, using Scoop, run the below command
You can also do this manually by downloading the latest version as a zip archive from bintray.
1. Unpack the archive to allure-command line directory.
2. Navigate to bin directory and
3. Add allure to system PATH.
You can find more information on Allure documentation.
Below simple example will help you to implement Allure Reports using TestNG, Java and Maven. Later will see an other example using Selenium page object model framework and integrate with your existing test automation framework without any major changes.
Your pom.xml file should look like below after adding dependencies along with maven surefire plugin
Or else If you are using any IDE, You have to run maven goal ‘site’ to generate a report.
The above command generates a report in the temporary folder from the data found in target/surefire-reports/ and then creates a local Jetty server instance, serves generated report and opens html report in the default browser.
To output Allure results to the build directory (the default is target/allure-results), We need to put the allure.properties file in src/test/resources/ and add below value :
If you want to save html report on your project directory, run the below allure command.
The above command generates ‘allure-report’ directory which has html report. But when you open the report, you just see Loading.
This is not the problem of Allure. The problem is related to default Webkit security settings which forbid doing Ajax requests on the local file system.
You have at least two possible solutions:
1. Serve index.html with some web-server like Nginx or Apache. This will emulate remote website and thus trick your browser.
2. With Allure CLI 2.0+ this can be done running the below command: