Подготовка данных.Разведывательный анализ данных на python pandas / Погружение в разведку БОЕМ (EDA)

Описание

Вступай в сообщество: https://boosty.to/SENATOROV
Подписывайся на Telegram: https://t.me/RuslanSenatorov
Начни работать с криптовалютой на Bybit: https://www.bybit.com/invite?ref=MAN2VD

Донат: https://www.donationalerts.com/c/senatorov
Стать спонсором :
(USDT TRC20) TPWP9kuqqetDNPeLjAe51F1i2jPxwYYBDu
(USDT BEP20) 0xf3db7ce90a55d1d25b7a6d1ded811fb2a7523f3d

Подготовка данных к разведывательному анализу на python pandas / Погружение в разведку БОЕМ (EDA)

00:01 Введение в разведывательный анализ данных

• Видео начинается с объяснения разведывательного анализа данных, который включает в себя работу с данными, их очистку и подготовку к анализу.
• Автор объясняет, что в данном видео будет проведен анализ данных о выживших и не выживших пассажирах Титаника.

01:28 Работа с данными

• Автор демонстрирует, как работать с данными, используя функцию head() для вывода первых трех колонок данных.
• Затем он объясняет, как использовать функцию describe() для получения информации о структуре данных, включая количество пропущенных значений.

09:47 Замена пропущенных значений

• Автор предлагает заменить пропущенные значения на константу или среднее значение.
• Он также объясняет, как использовать функцию min() для замены пропущенных значений на минимальное значение столбца.

14:06 Визуализация данных

• Автор предлагает использовать функцию hist() для создания гистограммы, которая показывает распределение данных.
• Он также предлагает использовать функцию plot() для создания графика плотности, который показывает распределение данных более детально.

17:58 Анализ данных

• Видео обсуждает анализ данных, используя функцию Python для обработки данных.
• Функция принимает на вход строку и просматривает необходимые столбцы, возвращая среднеарифметическое значение для каждого класса каюты.

24:10 Применение функции к датафрейму

• Функция применяется к датафрейму с использованием метода apply.
• Функция группирует данные по классу каюты и возвращает объект с индексом, содержащим ключи группировки.

28:14 Использование группировки и агрегации

• Видео объясняет, как использовать группировку и агрегацию для обработки данных.
• Группировка разбивает датафрейм на группы по значению столбца, а агрегация применяет анонимную функцию к каждой группе.
• Возвращается объект с индексом, содержащим ключи группировки.

32:54 Эквивалентность способов

• Обсуждение эквивалентности способов, применяемых для замены данных в датафрейме.
• Использование метода equ для проверки эквивалентности.

36:42 Создание нового столбца

• Создание нового столбца "Был ли пассажир на борту один или с родственниками".
• Функция Check для проверки наличия родственников.

45:10 Анализ данных

• Использование метода kde для оценки плотности распределения.
• Вычисление квантилей и построение графиков плотности.
• Использование метода cor для построения тепловой карты корреляций.



В этом видео мы рассмотрим основы подготовки данных к разведывательному анализу (EDA) с использованием библиотеки Pandas в Python.

Что вас ждет:

Загрузка данных: из различных источников, таких как CSV, Excel, JSON и др.
Очистка данных: удаление пропусков, дубликатов, выбросов и других ошибок.
Преобразование данных: изменение типов данных, форматирование дат, категоризация переменных и др.
Визуализация данных: гистограммы, диаграммы разброса, boxplots и другие графики для первичного анализа.
Анализ распределений: изучение формы распределения данных для каждой переменной.
Вычисление статистических показателей: среднее, медиана, мода, стандартное отклонение, квартили и др.
Сортировка и фильтрация: отбор данных по заданным критериям.
Объединение данных: из разных источников для комплексного анализа.
В результате:

Вы научитесь правильно подготавливать данные к EDA.
Вы сможете самостоятельно проводить первичный анализ данных.
Вы получите навыки работы с библиотекой Pandas.
Это видео будет полезно:

Начинающим аналитикам данных.
Специалистам, которые хотят улучшить свои навыки работы с Pandas.
Всем, кто интересуется анализом данных.
Смотрите другие видео на моем канале, чтобы узнать больше о работе с данными в Python!

Не забудьте подписаться на канал и поставить лайк этому видео!

#Python #Pandas #EDA #АнализДанных #DataScience

#математика #datascience #machinelearning
математика с нуля,
математика для дата сайнс,
математика для машинного обучения,
математика для чайников,
математика для начинающих,
математика для программистов,
математика для data science,
репетитор по математике,
преподаватель по математике,
учитель по математике,
учитель математики,
ментор по математике,
тичер по математике,
репетитор по дата сайнс с нуля,
репетитор по высшей математике,
репетитор по математике для взрослых,
математика для заочников
математика для дата аналитика