Python для аналитиков данных

Условия менторской программы

Данный курс - не просто очередной блок взаимосвязанных материалов, который можно забросить, открыв пару раз. Это - основа менторской программы, которая ставит цель не просто научить, а дать все необходимые знания для трудоустройства в сфере анализа данных. Для успешной учебы необходимы правила, которые необходимо соблюдать. В этой статье определяется порядок взаимодействия по домашним заданиям, условия проведения менторских сессий, а также порядок и условия выдачи доступов к материалам.

Установка Python, редактора кода и первая программа

Чтобы начать программировать, необходимо установить Python на компьютер. Процесс установки схож на Windows и Mac. Мы сконцентрируемся на Windows, т.к. компьютеров на этой операционной системе объективно больше. Для macOS процесс установки еще тривиальнее. Затем будет необходимо установить редактор кода и настроить его. Мы будем использовать Visual Studio Code (VSCode) - наиболее мощный редактор из открытых и бесплатных. Его сила - в плагинах, которые позволяют гибко настраивать редактор кода под свои задачи.

Переменные - это основные строительные блоки любого языка программирования, в том числе и Python. Они хранят данные, с которыми впоследствии производятся вычисления. В общем случае, при старте скрипта переменные наполняются начальными значениями. Затем в ходе выполнения программы эти значения меняются и по завершении программы становятся базой для вычисления итоговых значений, т.е. тех, ради которых скрипт и запускался. В Python все является объектом, в том числе элементарные числа и строки. Базовых типов данных несколько: строки, числа и логические значения. В данном уроке мы с ними познакомимся, а также потренируемся выполнять простые вычисления.

Основные арифметические операции

От переменных самих по себе будет мало толку, если не производить с ними вычисления. Каждая программа содержит расчеты, даже та, что не относится ни к научным, ни к финансовым. В данной статье мы рассмотрим основные арифметические операции: сложение, умножение, деление и деление с остатком. Эти знания послужат фундаментом для более сложных программ.

Оператор условия

Алгоритмы редко бывают линейными, т.к. в таком случае это был бы не алгоритм, а автоматизация действий. Поток выполнения программы может пойти по одному или другому пути, в зависимости от условия. Мы часто встречаемся с условной логикой и в реальной жизни. Например, если горит красный свет - мы останавливаемся, загорелся зеленый - едем или переходим дорогу. В Python за реализацию условной логики отвечает оператор условия If. Далее мы рассмотрим различные виды операторов условия: If - else, If - elif - else.

Операторы цикла в Python

Операторы цикла позволяют выполнять блок кода определенное количество раз (цикл for) или пока определенное условие истинно (цикл while). Без таких операторов современное программирование было бы невозможно. Основная задача цикла for - обойти все элементы последовательности: строки, списка, множества, словари и т.п. Цикл for применяется для обхода в том числе и более сложных объектов. В данной статье мы начнем знакомиться с циклом for и функцией range и решим несложные задачи. Полноценное применение данного оператора начнется в разделе, посвященном спискам.

Основы списков в Python

Списки - коллекции объектов. Их применяют, когда неудобно или невозможно создать множество однотипных переменных. Например, если в нашем блокноте на странице написан список дел - это можно считать аналогом списка в программировании. К элементу списка можно обратиться по номеру, списки можно расширять, элементы можно удалять. В этой статье мы рассмотрим, что такое списки в Python и базовые операции с ними.

Продвинутые операции со списками

В предыдущей статье мы разбирались с базовыми операциями со списками. Теперь мы рассмотрим более продвинутые техники. Поиск нужных элементов, вычисления, сортировка, поиск минимального и попарное сравнение элементов. Списки - рабочие лошадки любого языка программирования, поэтому число задач на эту тему может быть внушительным.

Работа со строками

Текст - основной носитель информации. Весь интернет - это, во многом, текст, т.к. мы открываем веб-страницы и читаем их содержимое. В Python достаточно широкие возможности по работе со строками и текстом. Мы рассмотрим базовые операции, которые станут основой для более детального изучения строк.

О динамической типизации

Python - язык программирования с динамической типизацией. На практике это выражается в том, что при объявлении переменной не обязательно указывать ее тип. Достаточно инициализировать переменную каким-нибудь значением. Магия динамической типизации заключается в том, что переменная - это ссылка на объект, она не содержит тип, тип относится непосредственно к объекту. Это дает нам то, что мы можем сначала присвоить переменной число, а затем через несколько строк эта же переменная будет ассоциирована со списком. Все это имеет далеко идущие последствия и активно применяется.

Основы функций в Python

Функции - основной строительный блок программ на любом языке программирования, в том числе и Python. Функция - это конструкция языка, которая принимает входные данные, обрабатывает их, производит вычисления и возвращает результат во внешнюю программу. В Python достаточно развитая поддержка функций, они являются объектами. В данной лекции мы разберем основы функций: их синтаксис, вызов внутри программ и синтаксис аргументов функций. В финальной части лекции разбирается скрипт, который почти полностью состоит из функций: на его примере показывается важность их использования для конструирования программ.

Проект 1 для начинающих

Создадим первый комплексный проект на Python, соединяющий все полученные до этого знания. В данном проекте мы применим арифметические вычисления, условия и циклы. Цель - применить свои знания не просто для решения задач, а для написания полноценных программ. Это позволит понять как отдельные части языка программирования взаимодействуют между собой и как отдельные задачи складываются в полноценные решения.

Базовые задачи с собеседований

В данной лекции приведен список типовых задач, которые чаще всего встречаются на собеседованиях, причем не только условия задач, но и основные принципы их решения. Кроме того, с целью систематизации мы еще раз приводим описание функционала Python, который нужно применять для решения. Тематика пока что ограничена темами, которые мы изучили до сих пор: списки, строки и функции.

Множества в Python

Множества в Python - это коллекции уникальных объектов. В Python они работают точь-в-точь как в математике: их можно объединять, пересекать, вычитать. При этом множества - не просто математическая абстракция, они применяются для ряда важных с точки зрения программирования задач: удаление дубликатов, поиск элементов одной коллекции, которых нет в другой и т.п.

Кортежи в Python

Кортеж - это особая структура данных, позволяющая моделировать неизменяемые коллекции. Именно неизменяемость является ключом к их широкому применения. Например, при возврате списка строк из таблицы базы данных очень удобно использовать для этого кортежи. Кортежи широко используются во встроенных функциях в Python, ими весьма удобно пользоваться, применяя механизмы распаковки кортежа в переменные. В целом, в кортежах нет ничего сложного, но их применение существенно упростит разработку скриптов.

Словари в Python

Словарь - это пример ассоциативного списка. В обычном списке каждому элементу ставится в соответствие его индекс, имея индекс можно извлечь элемент. В словаре эта концепция обобщается: каждому элементу ставится в соответствие не просто индекс, а ключ, который может быть произвольным неизменяемым объектом. Извлечение элемента по ключу в таком случае является простой и мгновенной операцией. С точки зрения собеседований на аналитика словари - важный материал, т.к. задачи на них встречаются регулярно. В данной лекции мы рассмотрим все важные аспекты словарей и решим типовые задачи с собеседований.

Работа с файлами в Python

Как сохранить результаты работы программы между ее запусками? - записать состояние программы в файл, а потом загрузить при следующем старте. В Python работа с файлами проста и удобна. Вы просто открываете файл, записываете туда строки и закрываете его. Аналогично - чтение файла. Запись простого списка строк в файл - задача не такая уж частая, но вы можете ее встретить. Гораздо более распространенной задачей является запись и чтение данных из JSON-файла. JSON (Javascript object notation) - это почти словарь в Python, с небольшими отличиями. JSON позволяет хранить в файлах объекты любой сложности и быстро извлекать их оттуда.

Проект 2 для начинающих

Написание проектов на Python - это, в первую очередь, отличный способ потренировать навыки программирования. Однако мы тренируем также навыки тестирования и умение самостоятельно заполнять пробелы в техническом задании (ТЗ), т.к. ни одна постановка задачи в современном бизнесе не является полной. Задача аналитика/разработчика не только в минимуме реализовать требуемый функционал, но и подсказать заказчику что ему на самом деле нужно, от чего следует отказаться. В техническом аспекте данный проект задействует не только навыки программирования, но и в небольшой степени навыки математического моделирования.

Проект среднего уровня

Данный проект создан для комплексной тренировки навыков, прежде всего с коллекциями объектов. Также будет возможность поработать с JSON-файлами, строками, процедурами, функциями и модулями. Необходимо будет тщательно проверять исходные данные, а также думать о хранении данных. Пока что задача, стоящая перед нами, является учебной, но инженерные принципы, которые применяются в ней, универсальны. Они поднимут ваш уровень мышления на новый уровень и конечно же дадут возможность ежедневно практиковаться в программировании.

Списковые включения в Python

Обработка каждого элемента списка и добавление результата в новый список - явление настолько обыденное, что создатели Python разработали специальный механизм, позволяющий делать это в одну строку. В английском языке эта возможность Python называется list comprehension, мы будет переводить его как "списковое включение". Это наиболее точно отражает суть: каждый элемент списка обрабатывается, а результат включается в новый список. В данной лекции мы детально рассмотрим различные варианты списковых включений: генерация нового списка, фильтрация и вложенные включения.

Итерационные контексты

Цикл for - одна из самых обобщенных конструкций. For позволяет единообразно обходить широкий круг последовательностей: строки, списки, словари, множества и даже файлы. В данной лекции мы рассмотрим итерационные контексты - механизм последовательного перебора последовательностей на основе протокола итерации: iterable и iterator. Это позволит получить глубокое понимание самой модели обработки последовательностий в Python: почему часть методов и функций (к примеру, dict.keys(), zip, any, ...) вместо списков возвращает объекты, почему некоторые последовательности не могут быть пройдены в цикле дважды и т.п. В итоге, мы напишем свой собственный итерируемый объект, который поддерживает обход от первого элемента до последнего в цикле for. Изучив эту лекцию, вы перестанете воспринимать Python как магию за счет значительного роста понимания того, что происходит под капотом.

Полезные функции по работе с последовательностями

Функциональное программирование - парадигма программирования, в рамках которой код приложения - это набор функций, где входные данные для одних функций являются исходными данными для других. Более того, активное применение функций позволяет алгоритму подняться выше на один уровень абстракции. Не цикл с флагом, который устанавливается, если какой-то элемент не удовлетворяет условию, а использование встроенной функции. Такой подход интуитивен и сразу говорит о намерении разработчика. Применение функционального подхода позволит вам писать лаконичный код, который в полной мере соответствует духу Python.

Области видимости в Python

С каждой переменной в Python ассоциирована область видимости - место в коде, где эта переменная доступна. К примеру, когда мы объявляем переменную внутри функции, мы ожидаем, что она будет доступна только внутри функции и нигде больше. Это позволяет скрывать детали реализации и тем самым облегчает работу. В данной лекции мы рассмотрим области видимости и правило LEGB. Это - продвинутая тема, но она позволяет взглянуть на программирование под другим углом и значительно увеличивает понимание программ. Более того, понимание областей видимости позволяет использовать продвинутые техники программирования, такие как замыкания и декораторы.

Продвинутые возможности функций и аргументов

Функции - одна из сильных сторон Python. Аргументы передают в функции данные, функции их обрабатывают и возвращают результаты. Грамотное использование аргументов позволяет делать функции универсальными и избежать дублирования. Например, часть аргументов можно сделать необязательными. Другие аргументы можно сделать передаваемыми только по ключу, что делает использование функций максимально интуитивным. Данные возможности используются в тысячах библиотек и кодовых базах в компаниях. Поэтому даже если вы не собираетесь применять все возможности аргументов, необходимо понимать их синтаксис, чтобы успешно читать чужой код.

Генераторы и генераторные функции в Python

Используя списковые включения, мы строили весь список сразу. Для ряда случаев - это избыточно: допустим, мы построили таким образом список в миллион элементов, хотя нам нужны первые два. В этой ситуации на помощь приходят генераторы: они не создают весь список сразу, а выдают по одному элементу за раз. Python целиком и полностью построен на генераторах: их возвращают почти все функции. Надо отдать должное создателям Python: можно успешно программировать на нем годами и не задумываться о генераторах, хотя под капотом работают именно они.

Более сложные задачи с собеседований

В данном сборнике представлены задачи на широкий круг тем: строки, списки, словари. Данная лекция также содержит рекомендации, какой функционал Python применять для той или иной задачи. В целом, эта подборка - серьезное подспорье на собеседовании, т.к. вы с высокой степенью вероятности встретите эти задачи в том или ином виде.

Основные принципы решения задач с собеседований

Данная лекция систематизирует основные приемы решения задач на собеседовании. При этом акцент делается не на очередной подборке типовых задач, а на принципах: какие темы наиболее вероятны, какие подходы нужно применять. Мы также обсудим психологию интервью: что делать, если задача не получается или в задаче есть какой-то баг, который из-за волнения не получается быстро найти.

Модули в Python

Небольшой скрипт можно уместить в один файл. Грамотно разбив его на процедуры и функции, мы можем какое-то время мириться с его разросшимся объемом, но этому есть предел. Когда единственный файл достигнет критического размера, работать с ним будет невозможно. Другой неразрешимой проблемой однофайловых программ является невозможность использовать чужой код - скопировать библиотечный код в единственный скрипт попросту невозможно. Данную проблему решают модули - можно поместить в них свой код и вызывать из любой точки программы. Кроме того, умея использовать модули, можно с легкостью интегрировать чужие библиотеки в свою программу.

Пакеты в Python

Активное использование модулей - существенный шаг в сторону написания структурированных программ. Так мы поднимаемся на более высокий уровень абстракции: от операторов к функциям, от функций к модулям. Просто импортировав модуль, мы сразу получаем все функции и переменные, объявленные на его верхнем уровне. Схожие по функционалу модули объединяются в пакеты - это позволяет делить большие программы на логические блоки. Мы научимся создавать пакеты, импортировать их, познакомимся с абсолютными и относительными импортами. Научившись применять модули и пакеты, вы существенно поднимите свой уровень программирования, т.к. будете мыслить не в терминах отдельных скриптов, а в терминах подсистем.

Модульное тестирование в Python

Автоматизированное тестирование - это написание кода, который тестирует другой код. Например, имея функцию, вычисляющую сумму, вы можете проверить ее правильность вручную, введя данные с клавиатуры и глазами сравнить результат с ожидаемым. Но это долго и не технологично. Поэтому в индустрии принято писать автоматизированные тесты, которые проверяют код автоматически. Тестирование называется модульным, т.к. тестируются конкретные функции и процедуры, а не работающая система целиком. В рамках данной лекции рассматривается библиотека pytest, которая является стандартом индустрии и очень проста для старта.

Обработка ошибок и механизм исключений

Программ без ошибок не бывает. Пользователи постоянно вводят неправильные данные, код может быть завязан на внешнюю подсистему, которая бывает недоступной (url, базу данных, хранилище и т.п.). Механизм исключений - элегантное и мощное средство Python по обработке любых ошибок. К примеру, достаточно поделить число на ноль, чтобы получить ошибку ZeroDivisionError, которая оформлена в виде класса-исключения. В данной лекции мы разберем разные подходы к обработке ошибок, зачем нужны исключения, как их инициировать и обрабатывать. Понимание этого, позволит вам не только понимать, что происходит в чужих программах - вы станете писать современный и правильно структурированный код.

Продвинутый проект по Python

Создадим еще более сложный проект на Python, применив все накопленные к данному моменту знания, в том числе, модули и пакеты. Мы создадим не просто программу, а целую библиотеку, которая решает распространенную для аналитиков/программистов задачу. Теоретически, оформив данный проект в пакет, его можно будет загрузить на PyPI и использовать в множестве проектов по всему миру. В данном проекте необходимо перейти на новый уровень: рассуждать в терминах api, думать о повторном использовании и т.п. На данном этапе проект стоит реализовать при помощи функций и процедур, но приветствуется и использование объектно-ориентированного программирования (ООП).

Основы ООП на Python

Объектно-ориентированное программирование (ООП) - это парадигма, в рамках которой программа представляет собой набор связанных между собой объектов. До этой лекции, мы использовали в основном функции, а данные хранили в переменных уровня модуля. Так можно писать довольно большие программы, но в ООП данные и методы их обработки объединяются воедино, что позволяет разработчику мыслить более знакомыми категориями. Мы все мыслим объектами, а с помощью ООП мы переносим близкие нам концепции непосредственно в код. ООП не относится к обязательным темам, которые необходимы аналитику для получения первой работы. Поэтому в этом курсе мы разберем лишь основы, которые позволят вам разбираться в современных кодовых базах, направленных на трансформацию данных.

Мега-продвинутый проект на Python

Этот проект - вершина нашего курса и является опциональным, хотя и рекомендуемым. Его уровень сложности относится к категории "сложнейший". Необходимо будет не просто на высоком уровне применить все знания, полученные в рамках этого курса, но и думать масштабно, т.е. строить приложение, а не скрипт, делающий разовую задачу. Кроме того, в данном проекте встречается ряд сложных алгоритмических задач, необходимо тщательно проверять данные, введенные пользователем и стремиться обрабатывать ошибки. Кроме того, одним из требований проекта - написать полный пакет модульных тестов, что автоматически требует продумать архитектуру приложения. В итоге, пространство для творчества в рамках этого проекта огромно, количество задач и практики программирования становится по истине неограниченным.