Визуализируют: что это такое и кому она нужна? – Бюро Акцент

Как визуализируют своевременность данных в Airbnb / Хабр

Команды Airbnb собрались вместе, чтобы за год создать SLA Tracker – визуальный аналитический инструмент, помогающий формировать культуру своевременности данных. Этот информационный продукт позволил нам разрешить и систематизировать следующие вопросы своевременности набора:

1. Когда считать, что набор опоздал?

2. Какие данные часто опаздывают?

3. По какой причине набор опоздал?

Трекер – важная часть усилий в достижении высокого качества данных, и, чтобы создать его, потребовалось преодолеть многие технические, организационные проблемы и проблемы продукта. Здесь остановимся на дизайне: расскажем, как проектировали и создавали визуализацию о своевременности данных.

Данные запаздывают

Своевременность данных крайне важна для бизнеса, однако поставлять их вовремя трудно: путь от сбора до конечного вывода содержит множество шагов. В Airbnb – и везде, где работают большие конвейеры, – сырые наборы данных очищаются, объединяются и преобразуются в структурированные данные, затем эти данные улучшают функции продукта, позволяя аналитикам принимать обоснованные решения.

Для своевременной поставки данных Airbnb мы стремимся к тому, чтобы владельцы каждого промежуточного шага фиксировали соглашения об уровне обслуживания (SLA) по доступности данных к конкретному времени. Например, владелец набора обещает, что метрика «бронирование» будет содержать самые актуальные данные к 5 утра по UTC, и если набор к этому времени недоступен, то он опоздал.

Как часто наборы опаздывают?

Сначала мы решили, что, опираясь на представление отчёта, Report поставщики данных должны понимать, когда данные выгружены и как часто они соответствуют SLA (рис. 1). 

В этом представлении поставщики в реальном времени отслеживают ситуацию и видят тенденции по нескольким наборам, которыми владеют или которым уделяют внимание. 

Мы также позаботились о том, чтобы инструмент был полезен даже при отсутствии формального заданного SLA, когда проявится типичное время выгрузки. При первом запуске инструмента SLA ещё не было, кроме того, есть наборы, которые используются не очень широко, то есть SLA им не требуется.

Рис. 1 – SLA Report предоставляет высокоуровневый обзор производительности SLA по спискам наборов. Каждая строка содержит индикатор состояния последнего раздела данных, а также гистограммы, отражающие данные о времени выгрузки (красные столбцы показывают дни, когда время выгрузки не соответствует SLA).

В Report используются традиционные списки объектов данных и небольшие визуальные эффекты, которые кратко обобщают типичное время выгрузки и исторические данные. Поставщики могут организовать наборы по спискам и работать со списками командно. Благодаря такому обобщению данных время выгрузки и производительность SLA понять так же просто, как курировать список наборов.

Отчётность – только вершина айсберга

Хотя Report сильно упрощает понимание того, действительно ли набор опаздывает, это представление не решило главные проблемы SLA:

Это проблемные вопросы, потому что наборы зависят друг от друга и возникают последовательно: сначала одно преобразование, затем другое (рис. 2).

Рис. 2 – Пример происхождения данных набора «A». «A» зависит от «B», который зависит от «C» и «D», и так далее.

Таким образом, наличие одного набора неразрывно связано с иерархически сложным  «происхождением» других наборов. Чтобы установить реалистичное SLA, нужно учитывать дерево зависимостей, которое иногда состоит из 100 сущностей, а также их SLA.

Добавим к этому сложности: когда что-то идёт не так, попытка сопоставить иерархические зависимости со временной последовательностью даёт результат: SLA упущено и ничего не видно. Трудно рассуждать о причинах в такой ситуации. Инструментальная оснастка Airbnb позволила дата-инженерам выявлять проблемы в конвейере одной команды; сделать то же самое на конвейерах нескольких команд экспоненциально сложнее.

Почему набор опоздал?

Ранний дизайн

Чтобы поставщики данных видели зависимости набора и временные рамках этих зависимостей, разработано представление о происхождении набора – Lineage. 

Информация о происхождении данных – это от 10 до 100 таблиц, а каждая таблица – это 30 дней исторических данных, а также SLA и связей между ними, поэтому мы нуждались в краткой форме представления, а это от 1,000 до 10,000 отдельных точек данных.

В наших первоначальных исследованиях акцент делался на происхождении выгрузки, но не на последовательности во времени (рис. 3). Несмотря на то что зависимости небольших участков линии происхождения понять было легко, не получалось выделить те из них, что вызывали задержки выполнения в общем конвейере, а также было трудно понять, сколько времени создавался набор.

Рис. 3 – Ранняя разведка с акцентом на происхождение набора. В каждой графе указано историческое время выгрузки каждого набора данных в более крупном конвейере.

Фокус на времени с помощью представления Timeline

Затем мы сместили акцент на последовательности во времени. Чтобы представлять последовательности, мы создали диаграмму Ганта, включающую зависимости (рис. 4) с такой функциональностью:

• Каждая строка представляет набор в смысле происхождения, конечный набор расположен наверху.

• У каждого набора есть горизонтальная полоса, отображающая начало, продолжительность и время окончания задачи обработки данных в пределах выбранных дат или времени.

• Если набор имеет SLA, время обозначается вертикальной линией.

• Распределения типичного времени начала и окончания помечены, чтобы помочь поставщикам данных оценить, опережают ли они график или не успевают и подвергают риску следующий набор.

• Между родительскими и дочерними наборами рисуются дуги, чтобы поставщики данных прослеживали происхождение и смотрели, не вызваны ли задержки зависимостями.

• Выделенные дуги представляют важнейшие “узкие” места.

Рис. 4 – Timeline даёт чёткое представление о последовательности и продолжительности преобразований данных, сохраняя при этом важные иерархические зависимости, которые дают последовательности контекста. Исторические данные о времени выгрузки отображаются для каждой строки набора слева от промежутка.

С таким дизайном легко найти проблемный шаг (это часто длинный красный столбик) или определять общесистемные задержки, когда все шаги занимают больше времени, чем обычно (много жёлтых полос, каждая из которых длиннее типичного времени выгрузки). С помощью этой визуализации многие команды Airbnb сегодня отлаживают задержки в данных.

Ищем иголку в стоге сена – «узкие» места

В наборах с очень большими деревьями зависимостей было трудно найти релевантные медленные «узкие» места, которые задерживают весь конвейер. Мы смогли существенно снизить уровень шума и выделить эти проблемные наборы, разработав концепцию «узкого» места – последовательности последних полученных наборов-предков, препятствующих запуску преобразования дочерних данных и тем самым задерживая весь конвейер (рис. 5).

Рис. 5 – Сравнение всей линии происхождения (слева, n=82) и отфильтрованного пути к «узкому» месту (справа, n=8). Пути «узких» мест значительно улучшают соотношение  «сигнал – шум» и облегчают поиск проблемных этапов больших конвейерах.

Погружение в историческое представление (Historical)

Итак, «узкое» место выявлено. Теперь важный вопрос – вызвана задержка на этом этапе длительностью самой работы или замедлениями в зависимостях? Ответ на этот вопрос помогает поставщикам данных понять, нужно ли оптимизировать именно их конвейер, или, чтобы сократить время SLA, нужны переговоры с владельцами зависимостей. Чтобы позволить отслеживать причины, мы построили подробное представление выполнения выгрузки набора, показывающее длительность и выполнения, и задержки (рис. 6).

Рис. 6 – Исторические распределения времени выполнения и задержек помогают быстро отличить SLA (красным цветом) из-за позднего начала вверху и сравнить с длительным выполнением внизу. Объединив эти взаимодополняющие представления в SLA Tracker, мы получаем полную перспективу своевременности данных (рис. 7).Рис. 7 – Трекер SLA состоит из нескольких представлений. Представление Report даёт обзор состояния набора данных, Lineage позволяет провести анализ первопричин времени выгрузки, а Historical фиксирует исторические тенденции в подробностях.

Процесс и оснастка

Почти год мы потратили на разработку концепции, проектирование, создание прототипов и внедрения SLA Tracker в производственную среду. Большая часть этого времени потрачена на разработку API данных в UI и на итерации Lineage.

Чтобы упростить Report, мы использовали статические конструкции и прототипы экранов с хот-спотами (инструмент Clickthrough Prototypes) и универсальные поддельные данные. В альфа- и бета-релизах мы выполняли итерации визуального языка, то есть визуализировали данные так, чтобы их было проще охватить и понять (рис. 8).

Рис. 8 – Эволюция визуального отображения времени выгрузки; отображены текущее и типичное время.

Совершенно иначе мы подошли к проектированию Lineage. Его информационная иерархия продиктована формой данных. Таким образом, критично прототипирование на выборках реальных данных. Мы разработали эти прототипы на TypeScript, используя низкоуровневый набор компонентов визуализации visx для React, этот набор позволяет повторно использовать код при внедрении в производственную среду (рис. 9).

Рис. 9 – Эволюция диаграммы Ганта Lineage (слева направо): первые ящики с усами, множество промежутков; простые промежутки с дугами зависимостей; упрощение поиска узких мест.

После обретения уверенности в нашей визуализации, но до внедрения в производственную среду мы доработали визуальные элементы статических макетов в Figma (рис. 10).

Рис. 10 – Разработка простого, но согласованного языка дизайна (слева) во всех представлениях SLA Tracker (справа) помогла сбалансировать плотность информации, сделав элементы более понятными.

Заключение

В этом проекте мы применили визуализацию данных и UI/UX-дизайн – междисциплинарную область, которую называем «Data Experience», в отношении важных проблем своевременности данных, требующих глубокого понимания сложной временной и иерархической информации. Это позволило сделать анализ своевременности данных доступным даже в сложной экосистеме данных крупной компании. Для разработки сложных инструментов визуального анализа требуются время и итерации, но результат работы может принести большую пользу.
Если хотите научиться работать с данными не хуже специалистов из Airbnb — то приходите учиться. Будет сложно, но интересно!

Узнайте, как прокачаться в других специальностях или освоить их с нуля:

• Профессия Data Scientist

• Профессия Data Analyst

• Курс по Data Engineering

Другие профессии и курсы

ПРОФЕССИИ

• Профессия Fullstack-разработчик на Python

• Профессия Java-разработчик

• Профессия QA-инженер на JAVA

• Профессия Frontend-разработчик

• Профессия Этичный хакер

• Профессия C++ разработчик

• Профессия Разработчик игр на Unity

• Профессия Веб-разработчик

• Профессия iOS-разработчик с нуля

• Профессия Android-разработчик с нуля

КУРСЫ

• Курс по Machine Learning

• Курс «Machine Learning и Deep Learning»

• Курс «Математика для Data Science»

• Курс «Математика и Machine Learning для Data Science» 

• Курс «Python для веб-разработки»

• Курс «Алгоритмы и структуры данных»

• Курс по аналитике данных

• Курс по DevOps

Учимся визуализировать за три шага

Редагувати переклад

15 сентября 2020, 17:27

О важности и действии визуализации говорят многие, но вот применяют в жизни ‒ единицы.  

Исследования ученых доказывают: «Все, что вы можете представить в своей голове, вам под силу притянуть в реальную жизнь». Особенно актуальна эта тема в спорте. Так как многие спортсмены утверждают, что сначала в деталях представляли свою победу, а после уже смогли ее обрести. Вот что об этом говорит известный американский гольфист Джек Никлаус:

Я ни разу не провел удар ‒ даже на тренировках, ‒ не имея в голове его отчетливой, сфокусированной картины.

Рассмотрим три важных шага на пути к осуществлению целей с помощью визуализации.

ШАГ 1. Решите чего вы хотите достичь

Казалось бы, что это элементарно. Но, к сожалению, большинство людей не знают, чего они хотят достичь в этой жизни, а просто идут по накатанной тропе ‒ что-то делают, а нужно ли им это — неизвестно. Поэтому шаг №1 заключается в том, чтобы понять ваше истинное «хочу». Не бойтесь амбициозных целей, не смотрите на ваше нынешнее место в жизни, не думайте о том, что вам что-то не под силу. Просто возьмите и решите наконец-то, чего же вы хотите. Откладывание важных событий на потом отдаляет вас от реализации целей. Сделайте это прямо сейчас, чтобы завтра уже осуществить другие важные шаги. Проявите настойчивость, упорство и ответственность за свою жизнь, наполняя ее смыслом, счастьем, и новыми свершениями.

Читайте также: ВИЗУАЛИЗАЦИЯ КАК СПОСОБ ОБРЕСТИ ЖЕЛАЕМОЕ

ШАГ 2. Выделяйте минимум 5 минут в день на визуализацию

Если вы решили заняться визуализацией, то имейте в виду, что ее необходимо делать каждый день, без пропусков, до того момента, пока ваша цель не реализуется. Никто не скажет вам о продолжительности времени, которое необходимое для осуществления желаемого, так как все очень индивидуально. Помните, что один день пропуска равен двум неделям отката. Поэтому сначала определите уровень своей готовности. В жизни могут произойти любые события и обстоятельства, которые наделены способностью помешать. Но ваше четкое решение и дисциплина помогут вам не свернуть с намеченного пути. Впишите визуализацию в свой ежедневный список дел. Сделайте ее полезной привычкой, обязательной и регулярной, как чистка зубов. Вы же не задумываетесь над тем, приводить свою полость рта порядок или нет. Пусть визуализация станет неотъемлемой частью вашей жизни.

Читайте также: 6 ЗАКОНОВ РАЗУМА ДЛЯ ОСОЗНАННОЙ И СЧАСТЛИВОЙ ЖИЗНИ

ШАГ 3. Уделяйте внимание деталям

Перед тем как приступить к визуализации, уединитесь в спокойном месте, расслабьтесь ‒ можно использовать практику вдох-выдох, поставьте телефон на беззвучный режим, сделайте все необходимое для того, чтобы вас ничто не отвлекало. И приступайте, прикрыв глаза, погружаясь в процесс. Представляйте желаемое в мельчайших деталях, подключите эмоции, улыбайтесь, наслаждайтесь. Ваш разум не различает реальность это, или намерение иметь. Ему все равно, он воспринимает происходящее как действительность. Так создайте же красочную картину того, чего вы хотите иметь, прокручивая ее в голове день за днем. Покажите своему разуму, что вы хозяин своей жизни и знаете, чего хотите. Ему ничего другого не останется, как приблизить вас к желанным целям.

Автор: Марина Сичкарь

#мечты#визуализация

Статьи по теме

Читайте также

Визуализируйте определение и значение — Merriam-Webster

визуализировать

ˈvi-zhə-wə-ˌlīz 

ˈvi-zhə-ˌlīz,

ˈvizh-wə-ˌlīz

переходный глагол

: сделать видимым: например,

а

: видеть или формировать ментальный образ : предвидеть

пытаться визуализировать проблему

б

: сделать (внутренний орган или часть) видимым при радиографической визуализации0041 ]

см.

Просмотреть все синонимы и антонимы в тезаурусе

Примеры предложений

Она попыталась визуализировать сцену, которую он описывал.

Прежде чем качать, визуализируйте себя, ударяющего по мячу.

Недавние примеры в Интернете

Владелец абонемента Orioles решил вязать шарф на протяжении всей кампании 2022 года, чтобы визуализировать прогресс команды от начала до конца.

Энди Костка, 9 лет0079 Балтимор Вс , 14 октября 2022 г.

Для розничных продавцов цифровые оптовые инструменты также дают возможность визуализировать и понять их покупку.

Вне сети , 25 августа 2022 г.

Терапевт начал часть гипноза, попросив Аян визуализировать свою жизнь в виде дерева.

Наледи Уше, USA TODAY , 19 августа 2022 г.

Webtoons также может быть легко визуализируют как фильмы и драмы из-за их уникального вертикального формата с прокруткой вниз, который похож на раскадровки, сделанные для производства фильмов или драм.

Джоан Макдональд, Forbes , 10 ноября 2021 г.

Герродетт сказала, что один из способов визуализировать — думать о молочном коктейле.

Ян Джеймс, AZCentral.com , 7 сентября 2021 г.

Линси Марр, профессор инженерного дела Технологического института Вирджинии и эксперт по поведению вирусов в воздухе, говорит, что сигаретный дым — отличный способ визуализировать самую актуальную информацию о том, как сохраняется вирус и насколько легко он может распространяться.

Доктор Санджай Гупта, CNN , 24 июля 2021 г.

Один из способов визуализировать влияние блокировок на авиаперелеты — рассмотреть количество пассажиров, ежедневно проверяемых на контрольно-пропускных пунктах Управления транспортной безопасности.

New York Times , 8 марта 2021 г.

Нейровизуализация позволила ученым визуализировать восприятие голоса в мозгу.

Z Paige Lerario, Scientific American , 19 сентября 2022 г.

Узнать больше

Эти примеры предложений автоматически выбираются из различных онлайн-источников новостей, чтобы отразить текущее использование слова «визуализировать». Мнения, выраженные в примерах, не отражают точку зрения Merriam-Webster или ее редакторов. Отправьте нам отзыв.

История слов

Первое известное использование

1817, в значении, определенном в переходном смысле

Путешественник во времени

Первое известное использование visualize было
в 1817 году

Другие слова того же года
визуализация

визуализировать

визуализатор

Посмотреть другие записи поблизости

Процитировать эту запись
«Визуализируйте».

Словарь Merriam-Webster.com , Merriam-Webster, https://www. merriam-webster.com/dictionary/visualize. По состоянию на 11 ноября 2022 г.

Копировать цитату

Детское определение

визуализировать

визуализировать

ˈvizh-(ə-)wə-ˌlīz 

ˈvizh-ə-ˌlīz

: сделать видимым

особенно

: сформировать мысленный образ

Медицинское определение

визуализировать

визуализировать

: сделать видимым: как

а

: увидеть или сформировать ментальный образ

б

: сделать (орган) видимым с помощью рентгенографической визуализации

визуализировать желчный пузырь

с

: для подготовки (в виде организма или ткани) к микроскопическому исследованию, особенно путем окрашивания

Подробнее от Merriam-Webster на

визуализировать

Английский язык: Перевод Visualize для говорящих на испанском языке

Британский английский: Перевод Visualize для говорящих на арабском языке

Последнее обновление:
1 ноября 2022 г.
— Обновлены примеры предложений

Подпишитесь на крупнейший словарь Америки и получите тысячи дополнительных определений и расширенный поиск без рекламы!

Merriam-Webster без сокращений

отважный

См. Определения и примеры »

Получайте ежедневно по электронной почте Слово дня!

Тест на часто путаемые слова

• Я пошел в магазин ______, чтобы купить поздравительную открытку.

• стационарный
  канцелярские товары

Прослушайте слово и напечатайте его. Сколько вы можете получить правильно?

ПРОЙДИТЕ ТЕСТ

Ежедневное задание для любителей кроссвордов.

ПРОЙДИТЕ ТЕСТ

Визуализируйте определение и значение | Dictionary.com.

[виж-о-э-лахыз]

/ ˈvɪʒ u əˌlaɪz /

Сохранить это слово!

См. синонимы для: визуализировать / визуализировать на Thesaurus.com

Показывает уровень оценки в зависимости от сложности слова.

глагол (используется без объекта), визуализировать, визуализировать.

вспоминать или формировать мысленные образы или картинки.

глагол (используется с объектом), визуализировать, визуализировать.

сделать визуальным или видимым.

для формирования ментального образа.

сделать ощутимым для ума или воображения.

ВИКТОРИНА

ВЫ ПРОЙДЕТЕ ЭТИ ГРАММАТИЧЕСКИЕ ВОПРОСЫ ИЛИ НАТЯНУТСЯ?

Плавно переходите к этим распространенным грамматическим ошибкам, которые ставят многих людей в тупик. Удачи!

Вопрос 1 из 7

Заполните пропуск: Я не могу понять, что _____ подарил мне этот подарок.

Также особенно британский, визуализировать .

Происхождение визуализации

Впервые записано в 1810–1820 гг.; визуальный + -ize

ДРУГИЕ СЛОВА ОТ визуализировать

vis·u·al·iz·a·able, прилагательноеvis·u·al·i·ization, существительноеvis·u·al·iz·er, vis·u·al·ist, существительноеnon·vis·u· al·ized, прилагательное

re·vis·u·al·i·za·tion, существительное·re·vis·u·al·ize, глагол, re·vis·u·al·ized, re·vis·u·al ·iz·ing.un·vis·u·al·ized, прилагательноеwell-visual·ized, прилагательное

Близлежащие слова visualize

терминал визуального дисплея, устройство визуального отображения, визуальный эффект, поле зрения, визуализация, визуализация , зрительная грамотность, зрительно, слабовидящие, слабовидящие, визуальная величина

Dictionary.com Полный текст
На основе Random House Unabridged Dictionary, © Random House, Inc. 2022

Слова, связанные со словом «визуализировать»

предвосхищать, мечтать, воображать, постигать, создавать, предугадывать, предвидеть, представлять, характеризовать, предвидеть, представлять, воображать, объект, изобразить, отразить, увидеть, подумать, увидеть, вспомнить, вызвать в памяти

Как использовать визуализировать в предложении

• Лефтвич всегда хотел услышать настоящую пьесу, потому что он мог визуализировать ее, как ее называли ариане.

  Байрон Лефтвич — восходящая звезда в тренерском штабе Бакс, демонстрирующий силу разнообразия|Адам Килгор|5 февраля 2021 г.|Washington Post

• с учетом пятибалльной маржи.

  Эти большие вводящие в заблуждение карты президентских результатов по площади становятся все хуже|Филип Бамп|3 февраля 2021|Washington Post

• Нажав кнопку, они могут визуализировать, что произойдет, если вы заплатите, например, 20 долларов. или еще 50 долларов в месяц.

  Чарли запускает мобильное приложение, которое «геймифицирует» избавление от долгов|Сара Перес|27 января 2021|TechCrunch

• Местное отделение получило «Crystalline», концепцию, которую труднее представить.

  В галереях: Иммерсивная выставка исследует страну чудес в голубых тонах|Марк Дженкинс|22 января 2021 г.|Washington Post

• На карте показаны средние результаты опроса каждого округа с 1 по 14 января. сделать прививку?|Карен Хао|16 января 2021 г. |MIT Technology Review

• Итак, у него есть доступ ко всей его временной шкале, и визуализаторы должны были визуализировать ее так, как она могла бы быть.

  Нил де Грасс Тайсон разбирает «Интерстеллар»: черные дыры, замедление времени и массивные волны|Марлоу Стерн|11 ноября 2014 г.|DAILY BEAST .

  Как режиссер фильма «Превосходство» Уолли Пфистер стал секретным оружием Кристофера Нолана|Эндрю Романо|17 апреля 2014 г.|DAILY BEAST

• Для тех, кому нужно это представить, подумайте о том, как жир от гамбургеров засоряет стоки.

  6 способов избежать «Сочинской кишки» во время просмотра Олимпиады|Дженна А. Белл|12 февраля 2014 г.|DAILY BEAST

• Чем больше он говорил, тем больше промоутеры и болельщики представляли бой Клэй-Листон .

  Rand Paul Woos the Base с Hot Monica Lewinsky Talk|Michael Tomasky|12 февраля 2014|DAILY BEAST

• Это помогает [] визуализировать блюдо перед тем, как вы его приготовите, это помогает вам в вашем ежедневном процессе, это помогает соединяя это.

  Гений, стоящий за elBulli: Ферран Адриа рассказывает о своем творческом процессе|Энн Бинлот|29 января 2014|DAILY BEAST

• Лэмб мог представить себе, как он вешает пальто на вешалку, осторожно накидывая на него шарф.

  Детектив в капюшоне, том III № 2, январь 1942 года|Разное

• Весь этот день Хьюстон думал об этом, мечтал об этом, пытался представить себе это — битву железной дороги со снегами холмов.

  Белая пустыня|Кортни Райли Купер

• Что делали все эти толпы, которые она так ясно представляла?

  Пляж мечты|Х. Де Вер Стакпул

• Он попытался визуализировать планету, на которую направлялся, но в его уме не сложилось никаких образов.

  Цивилизация Статуса|Роберт Шекли

• Мысленным взором она могла представить поднятые брови охранников дневной смены, когда они оглядывали сбившуюся в кучу команду.

  Немыслимое|Роджер Филлипс Грэм

Британские определения словаря для визуализации

Визуализировать

Визуализация

/ (ˈVɪʒʊəˌlaɪz, -ZJʊ-) /

ГАРБ

.