Открыт к новым проектам

Сайд-проекты · музыка

Scrobble Vault

20 лет музыкальной истории Last.fm — статистика, визуализация, паттерны прослушивания.

Три аккаунта, сменявшие друг друга с 2005 года, сведены в одну историю, чтобы крутить свои данные как угодно.

Открыть music.devisfun.ru

состояние
работает
стек
  • Python
  • Vue
  • Express

Зачем

Моя история на Last.fm разбита на три аккаунта, которые сменяли друг друга: с 2005 по 2007 год, с 2007 по 2008-й и нынешний — с 2009-го. Last.fm показывает каждый аккаунт отдельно и умеет в основном топы. Мне хотелось видеть двадцать лет одной лентой и задавать данным свои вопросы.

Scrobble Vault выкачивает историю через API Last.fm и сводит три аккаунта в одну базу с общим справочником артистов, альбомов и треков — 270 403 скроббла. История разложена по тринадцати разделам: тепловая карта «день недели × час», серии дней подряд, жанры по годам, недели, когда один артист занимал больше половины прослушиваний, артисты, которых я слушаю почти двадцать лет.

Сложность — в данных. Last.fm не публикует лимиты, вместо фото артиста отдаёт заглушку и не знает жанров. Поэтому сбор идёт с паузами и повторами, картинки и жанры подтягиваются цепочкой Last.fm MusicBrainz Cover Art Archive и кэшируются на моём сервере, а вся аналитика считается SQL-⁠запросами на лету.

У каждой метрики есть определение: что считать ночью, когда серия дней прерывается, с какого порога жанр считается открытым. Поэтому цифрам на экране можно верить.

Что умеет

1234
Scrobble Vault
  1. 1Вся история в одном месте — прослушивания с февраля 2005 года, три аккаунта Last.fm в одной базе.
  2. 2Тринадцать разделов — время, годы, дни, привычки, альбомы, жанры и их эволюция, артисты, верность, сезоны.
  3. 3Артисты, треки, альбомы — с обложками и метаданными, которые подтягиваются отдельно.
  4. 4Топы — артисты, треки и альбомы; у каждого своя страница.
  5. 5Три аккаунта на одной ленте — график за двадцать лет, сложенный по аккаунтам, с фильтром по каждому.
  6. 6Тепловая карта недели — день недели × час по всем скробблам; пик — пятница, 19:00.
  7. 7Индекс совы — доля прослушиваний с полуночи до шести утра; у меня 8,14 %.
  8. 8Серии дней подряд — самая длинная серия и доля дней с музыкой; рекорд — 199 дней подряд в 2007 году.
  9. 9Календарь и страница дня — год тепловой картой, у каждого дня свои часы, топы и новые артисты.
  10. 10Жанры — доли 2 019 жанров, топ-5 каждого года и месяц, когда жанр открыт, с артистом, который его открыл.
  11. 11Созвездия — граф 50 самых слушаемых артистов, связанных тремя и больше общими тегами.
  12. 12Одержимости — недели, когда один артист или альбом дал половину прослушиваний и больше.
  13. 13Верность — артисты, которых я слушаю много лет: Deftones — 19 разных лет.
  14. 14Страница артиста — как я его открыл, место в моём рейтинге по годам и время суток.

Экраны

Скробблы по годам, 2005–2025: три аккаунта одним графикомЭволюция: распределение жанров по годам и топ каждого годаСозвездия: 50 самых слушаемых артистов, связанных общими тегамиОблако жанров: крупнее те, что я слушаю большеПутешествие: переходы между жанрами по месяцам и первые встречи с нимиОдержимости: недели, когда один артист дал половину прослушиваний и большеПривычки: индекс совы и прослушивания по часамВерность: артисты, которых я слушаю пять лет и больше; у Deftones — 19 летСезоны: прослушивания и главные артисты зимы, весны, лета и осениСтраница артиста NOFX: 3 276 скробблов, треки, альбомы, прослушивания по времени
1 / 10 · Скробблы по годам, 2005–2025: три аккаунта одним графиком

Что было трудно

Вся история через API без опубликованных лимитов

Нужно было выгрузить три аккаунта — 68 971, 31 873 и 169 734 скроббла. Last.fm не публикует лимиты запросов, а по документации отдаёт не больше 200 записей на страницу: это 1 354 запроса. На деле API принимает 1000 записей за запрос, и вышла 271 страница. Между запросами — пауза не меньше 0,5 с, на ошибку лимита и сбои сети — повтор с удвоением паузы от 1 до 16 с, до пяти раз. Сбор и загрузка в базу разделены: сначала снимок аккаунта в JSON, потом импорт пачками по 1000 записей. Итог — в 5 раз меньше запросов, а выгрузка нынешнего аккаунта совпала с профилем Last.fm до скроббла.

Три аккаунта — одна лента

Аккаунты сменяли друг друга: последний скроббл первого и первый скроббл второго разделяют две с половиной минуты, общих прослушиваний у них нет. Сложность — в справочнике: одни и те же артисты пишутся в разных аккаунтах с разным регистром, а MBID в скробблах есть не всегда. Уникальность держит сама база: индексы по имени артиста без учёта регистра, по паре «альбом + артист» и по тройке «трек + артист + альбом», а вставка не затирает известный MBID пустым. У каждого прослушивания остаётся его аккаунт, поэтому любой график раскладывается по аккаунтам. Итог — 914 артистов из нескольких аккаунтов слились: в справочнике 12 988 артистов вместо 13 902.

Картинки и жанры, которых нет в Last.fm

В скробблах нет ни картинок, ни жанров, а вместо фото артиста Last.fm отдаёт одну и ту же заглушку. Для каждого артиста работает цепочка: Last.fm даёт картинку и MBID; заглушка распознаётся и не сохраняется, тогда берётся обложка первого релиза из Cover Art Archive; недостающий MBID ищется по имени в MusicBrainz и принимается только при точном совпадении или оценке от 90 из 100; жанры приходят из MusicBrainz, а если там пусто — из тегов Last.fm. MusicBrainz разрешает один запрос в секунду, и 12 тысяч артистов — это около 13 часов, поэтому процесс можно остановить и продолжить, а дважды он не запустится. Картинки скачиваются на мой сервер. Итог — картинки есть у 66,5 % артистов вместо 6,4 %, жанры — у 89,1 % вместо 4,1 %.

Аналитика на лету по 270 403 прослушиваниям

Почти каждый раздел — агрегат по всей таблице прослушиваний: по часам, дням, неделям, сезонам, годам и жанрам. Таблица — hypertable TimescaleDB с помесячными чанками и составными индексами «аккаунт + время», «артист + время», «трек + время». Агрегаты считает SQL, а не приложение: оконные функции для топа жанров каждого года, DISTINCT ON для главного жанра артиста, недели через DATE_TRUNC для одержимостей, статистика по трём аккаунтам — одним запросом с COUNT … FILTER. Итог — аналитический раздел отвечает за 0,7–1,2 с вместе с сетью.

У каждой метрики — формула

Метрика привычек полезна, только если её можно проверить. Ночь — с 00:00 до 05:59; серия дней рвётся на первом дне без музыки; одержимость — неделя от 50 скробблов, где один артист или альбом дал половину и больше; верность — число разных лет с прослушиваниями. Для серий, индекса совы, тепловой карты, пиковых дней и страниц артиста, альбома и жанра написаны методички с SQL. Итог — рекорд в 199 дней подряд, 8,14 % ночных прослушиваний и 50 недель одержимости можно пересчитать по формуле.

Когда жанр считается открытым

Если считать жанр открытым по первому прослушиванию, почти все жанры «открываются» в первый месяц истории, а артист с тремя тегами даёт три открытия сразу. Поэтому в счёт идёт только главный жанр артиста, жанр открыт в месяц, когда по нему набралось 5 скробблов, а открывшим его записывается артист с наибольшим вкладом. В месяце не больше пяти открытий, лишние переносятся на следующий. Итог — открытия распределены по двадцати годам, а не собраны в феврале 2005-го.

Как устроен

Сбор
  • Python
  • requests
  • psycopg2
  • Last.fm API
Данные
  • PostgreSQL
  • TimescaleDB
  • Docker
API
  • Node.js
  • Express
  • TypeScript
  • Prisma
Обогащение
  • Last.fm API
  • MusicBrainz
  • Cover Art Archive
Интерфейс
  • Vue 3
  • Vue Router
  • Chart.js
  • SVG
  • Vite
Деплой
  • Ansible
  • nginx
  • Let’s Encrypt
  • PM2
Резервные копии
  • pg_dump
  • S3
  • Импорт идемпотентен: у прослушивания уникальный ключ «аккаунт + трек + время», и повторный прогон не создаёт дублей.
  • Картинки лежат на моём сервере под хэшем исходного адреса, а сами адреса сохранены — кэш можно пересобрать.
  • Резервная копия — дамп базы и архив картинок в S3-совместимом хранилище; копиями управляю со страницы администратора.
  • После выкладки открытые вкладки не ломаются: index.html не кэшируется, файлы с хэшем в имени кэшируются на 7 дней, а устаревший фрагмент приложения перезагружает страницу.

Контакт

Открыт к новым проектам и предложениям о работе. Проще всего — почтой или в Telegram.

hello@alexandr.sh·GitHub·Telegram

Резюме · PDFCV in English · PDF