Зарождается новая дисциплина — обработка сверхбольших объемов данных

Вил ван дер Аалст и сотрудники Научно-учебной лаборатории процессно-ориентированных информационных систем (ПОИС)

Какое влияние «большие данные» (big data) оказывают на современное общество? Кто такой «исследователь данных» (data scientist) и какими компетенциями он должен обладать? Об этом на лекции в Высшей школе экономики рассказал профессор Технического университета Эйндховена (Нидерланды) Вил ван дер Аалст, ставший почетным профессором ВШЭ.

Профессора Технического университета Эйндховена Вила ван дер Аалста связывают с Высшей школой экономики многолетние отношения. Он принимал участие в создании магистерской программы «Системная и программная инженерия» и Международной научно-учебной лаборатории процессно-ориентированных информационных систем, научным руководителем которой он был до 2014 года. Кроме того, будучи руководителем рабочей группы IEEE Task Force on Process Mining, которая включает более 50 университетов, научных центров и IT-компаний, профессор ван дер Аалст содействует интеграции исследователей Вышки в глобальные исследовательские сети. И сейчас профессор ван дер Аалст участвует в совместных исследовательских проектах и готовит публикации вместе с коллегами из НИУ ВШЭ.

Вил ван дер Аалст — один из ведущих специалистов в сфере моделирования и анализа информационных систем. Его также считают создателем и лидером нового, интенсивно развивающегося в последние годы научного направления — process mining. Идеи профессора ван дер Аалста оказали большое влияние на исследователей и разработчиков программного обеспечения.

Что такое «большие данные» (big data) и какова их роль в современном мире?

Общество всего за несколько лет перешло от аналогового к полностью цифровому формату своего существования. Еще 10-20 лет назад компьютеры рассматривались как специальная техника, доступная только профессионалам. Сейчас каждый из нас ежедневно использует смартфон или планшет, оплачивает покупки электронной картой, заказывает билеты через Интернет и т.д.

Эти серьезные технологические изменения оказали невероятное влияние на науку, бизнес и повседневную жизнь человечества. Все существующие информационные системы постоянно продуцируют огромные объемы данных (big data). Записывается всё обо всём, в любое время, и в любом месте. Транспортные компании, банки, страховые компании и другие бизнесы имеют в основе своего функционирования процессно-ориентированные информационные системы. Каждый из нас, покупая кофе, отправляя электронную почту, совершая телефонные звонки, заправляя автомобиль, участвует в процессе сбора данных. Вещи вокруг нас тоже производят данные: только iPhone содержит более 14 сенсоров для приема и восприятия информации. Данных с каждым годом становится все больше и больше, их количество возрастает согласно закону, аналогичному закону Мура для транзисторов. Их общий объем примерно удваивается каждые два года.

Хотя технологии хранения и обработки данных с 1960-х сделали огромный шаг вперед, объемы данных растут опережающими темпами. Становится ясно, что зарождается новая дисциплина — обработка сверхбольших объемов данных. Аналогично компьютерным наукам, выросшими из прикладной и фундаментальной математики с появлением компьютеров, науки о данных бурно развиваются, имея в изобилии данные как объект для изучения.

При этом перед исследователями всего мира встает задача эффективного использования всего объема имеющихся данных. Это потенциально может приводить к увеличению эффективности функционирования коммерческих и государственных компаний, т.е. улучшать повседневную жизнь человечества.

Гарантированно востребованная профессия

Для решения задач анализа данных современные высшие учебные заведения должны готовить кадры по принципиально новым учебным программам. Именно поэтому во всем мире развивается синтетическая профессия «исследователь данных».

Исследователи данных должны обладать навыками и знаниями из нескольких разнородных областей: компьютерных наук и программирования, математических методов, а также бизнес-администрирования и управления. Подобные синтетические специальности всегда очень востребованы, но и сложны в освоении. Ключевыми методами анализа данных сегодня являются машинное обучение, data mining, process mining, визуальная аналитика, анализ временных рядов и другие. Таким образом, науки о данных как бы заполняют собой разрыв между классической математикой и прикладными компьютерными методами.

Сегодня перед исследователем данных стоит множество открытых вопросов. Некоторые из них поставлены уже довольно давно, а некоторые возникли только в последние годы.

Вот некоторые из них:

• Как анализировать данные в реальном времени без остановки процесса?
• Как избегать явной и неявной дискриминации в ходе анализа данных?
• Как отвечать на вопросы, которые еще даже не поставлены?
• Как решать задачи анализа, сохраняя приватность данных?
• Кто принимает решение в конечном итоге: каково место эксперта?
• Как соотносятся корреляции и причинно-следственные связи?

Эти вопросы еще ждут своих исследователей.

А абитуриентам и студентам стоит подумать над тем, не выбрать ли для себя профессию исследователя данных, которая гарантированно будет востребована в ближайшие 10-20 лет. Исследователи данных в недалеком информационном будущем займут примерно такое же место среди других профессий, какое сейчас занимают программисты и проектировщики информационных систем всех видов.

Тем, кто заинтересовался получением этой профессии, стоит обратить внимание на бакалаврские программы «Программная инженерия» и «Прикладная математика и информатика», а также магистерские программы «Системы больших данных», «Науки о данных» и «Системная и программная инженерия».