{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "Блог об аналитике, визуализации данных, data science и BI, заметки с тегом: pandas-profiling", "home_page_url": "http:\/\/test.leftjoin.ru\/tags\/pandas-profiling\/", "feed_url": "http:\/\/test.leftjoin.ru\/tags\/pandas-profiling\/json\/", "icon": "http:\/\/test.leftjoin.ru\/user\/userpic@2x.jpg", "author": { "name": "Николай Валиотти", "url": "http:\/\/test.leftjoin.ru\/", "avatar": "http:\/\/test.leftjoin.ru\/user\/userpic@2x.jpg" }, "items": [ { "id": "60", "url": "http:\/\/test.leftjoin.ru\/all\/pandas-profiling-2\/", "title": "Обзор библиотеки pandas-profiling на примере датасета Superstore Sales", "content_html": "

Перед тем как работать с данными, необходимо составить представление, с чем мы имеем дело. В материале будем рассматривать датасет SuperStore Sales, а именно его лист Orders<\/i>. В нём собраны данные о покупках клиентов канадского интернет-супермаркета: идентификаторы заказа, товаров, клиента, тип доставки, цены, категории и названия продуктов и прочее. Подробнее с датасетом можно ознакомиться на GitHub<\/a>. Например, если мы создадим из датасета DataFrame, можем воспользоваться стандартным методом describe()<\/span> библиотеки pandas для описания данных:<\/p>\n

import pandas as pd\r\n\r\ndf = pd.read_csv('superstore_sales_orders.csv', decimal=',')\r\ndf.describe(include='all')<\/code><\/pre>
И во многих случаях получим такую кашу:<\/p>\n
\n\"\"\n<\/div>\n
Код библиотеки доступен на GitHub<\/a><\/p>\n
Если постараться и потратить время, можно извлечь полезную информацию. Например, можем узнать, что люди чаще выбирают «Regular air» в качестве доставки или что большинство заказов поступило из провинции Онтарио. Тем не менее, есть и другое решение, которое подробнее и качественнее описывает датасет — библиотека pandas-profiling. Вы отдаёте ей DataFrame, а она генерирует html-страницу с подробным описанием сета данных:<\/p>\n
import pandas_profiling\r\nprofile = pandas_profiling.ProfileReport(df)\r\nprofile.to_file("output.html")<\/code><\/pre>
\n\"\"\n<\/div>\n
Всего Pandas Profiling возвращает 6 разделов: обзор датасета, переменные, отношения и корреляцию между ними, количество пропущенных значений и примеры из датасета.<\/p>\n
Web-версия отчёта доступна по ссылке<\/a><\/p>\n
Обзор данных<\/h2>\n
Рассмотрим первый подраздел — «Overview». Библиотека собрала следующую статистику: количество переменных, наблюдений, пропущенных ячеек, дубликатов и общий вес файла. В колонке Variable types<\/span> описаны типы переменных: здесь 12 качественных и 9 числовых.<\/p>\n
\n\"\"\n<\/div>\n
В подразделе «Reproduction» собрана техническая информация библиотеки: сколько времени занял анализ сета данных, версия библиотеки и прочее.<\/p>\n
\n\"\"\n<\/div>\n
А подраздел «Warnings» сообщает о возможных проблемах в структуре датасета: сейчас он, например, предупреждает, что у поля «Order Date» — слишком большое количество уникальных значений.<\/p>\n
\n\"\"\n<\/div>\n
Переменные<\/h2>\n
Двигаемся ниже. В этом разделе содержится подробное описание каждой переменной: сколько возможных уникальных значений она принимает, сколько значений пропущено, сколько памяти занимает поле. Справа от статистики присутствует гистограмма с распределением значений поля.<\/p>\n
\n\"\"\n<\/div>\n
При нажатии на Toggle details<\/span> откроется расширенная информация: квартили, медиана и прочая полезная описательная статистика. В остальных вкладках находятся гистограмма из основного экрана, топ-10 значений по частоте и экстремальные значения.<\/p>\n
\n\"\"\n<\/div>\n
Отношения переменных<\/h2>\n
В этом разделе визуализированы отношения переменных при помощи hexbin plot: выглядит это не очень очевидно и понятно. Особенно усугубляет положение отсутствие легенды к графику.<\/p>\n
\n\"\"\n<\/div>\n
Корреляция переменных<\/h2>\n
В этом разделе представлена по-разному посчитананя корреляция переменных: например, первым указано r-value Пирсона. Заметно, что переменная Profit положительно коррелирует с переменной Sales<\/span>. При нажатии на Toggle correlation descriptions<\/span> открывается подробное пояснение к каждому коэффициенту.<\/p>\n
\n\"\"\n<\/div>\n
Пропущенные значения<\/h2>\n
Тут всё просто — bar chart, матрица и дендрограмма с количеством заполненных полей в каждой переменной. Заметно, что в колонке Product Base Margin<\/span> отсутствуют три значения.<\/p>\n
\n\"\"\n<\/div>\n
Примеры<\/h2>\n
И, наконец, последний раздел представляет первые и последние 10 значений в качестве примера кусков сета данных — аналог метода head()<\/span> из pandas.<\/p>\n
\n\"\"\n<\/div>\n
Что в итоге?<\/h2>\n
Библиотека уделяет больше внимания статистике, чем pandas: можно получить подробную описательную статистику по каждой переменной, посмотреть, как коррелируют между собой столбцы датасета. В совокупности с генерацией простого и удобного интерфейса библиотека строит полноценный отчёт по датасету, уже на основании которого можно делать выводы и сформировать представление о данных.
\nИ всё же, у библиотеки есть и минусы. На генерацию отчётов к громадным датасетам может уйти много времени вплоть до нескольких часов. Это безусловно хороший инструмент для автоматического проектирования, но он не может сделать полноценный анализ за вас и добавить больше деталей в графики. Кроме того, если вы только начали практиковаться с анализом данных лучше будет начать с pandas — это закрепит ваши навыки и придаст уверенности при работе с данными.<\/p>\n",
            "date_published": "2020-09-04T17:55:08+03:00",
            "date_modified": "2020-09-04T18:01:13+03:00",
            "image": "http:\/\/test.leftjoin.ru\/pictures\/2-14.png",
            "_date_published_rfc2822": "Fri, 04 Sep 2020 17:55:08 +0300",
            "_rss_guid_is_permalink": "false",
            "_rss_guid": "60",
            "_e2_data": {
                "is_favourite": false,
                "links_required": [
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css",
                    "system\/library\/highlight\/highlight.js",
                    "system\/library\/highlight\/highlight.css"
                ],
                "og_images": [
                    "http:\/\/test.leftjoin.ru\/pictures\/2-14.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/2@2x.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/2@1.5x.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/1-13.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/2-15.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/3-13.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/4-8.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/5-9.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/6-8.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/7-4.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/Screenshot-2020-09-04-at-14.56.01.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/8-5.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/9-5.png",
                    "http:\/\/test.leftjoin.ru\/pictures\/10-4.png"
                ]
            }
        }
    ],
    "_e2_version": 3365,
    "_e2_ua_string": "E2 (v3365; Aegea)"
}