Вивчайте Керування зменшенням розмірності та виявлення прихованих латентних ознак | Глибока персоналізація через матричну факторизацію

Свайпніть щоб показати меню

Зниження розмірності: що це таке і чому воно потрібне в рекомендательних системах

Визначення

Зниження розмірності — це процес перетворення даних з простору з великою кількістю вимірів у простір з меншою кількістю вимірів із збереженням найважливішої інформації.

У рекомендательних системах матриці користувач-товар можуть бути надзвичайно великими, з тисячами користувачів і продуктів. Така висока розмірність ускладнює обчислення і може призводити до перенавчання, коли модель вловлює шум замість значущих закономірностей. Зменшення кількості вимірів робить дані простішими для аналізу, візуалізації та моделювання, що забезпечує швидші та більш надійні рекомендації.

Приховані ознаки: визначення та приклади у даних користувач-товар

Приховані ознаки — це приховані фактори, які пояснюють спостережувані закономірності у взаємодіях користувачів з товарами. На відміну від безпосередньо вимірюваних даних (наприклад, вік або категорія товару), приховані ознаки не мають явних міток — вони визначаються на основі структури самих даних. У системі рекомендацій фільмів приховані ознаки можуть відображати вподобання користувача до жанрів, режисерів або навіть до абстрактних якостей, таких як "незвичайний гумор" чи "епічне оповідання". Ці ознаки допомагають пояснити, чому певні користувачі віддають перевагу певним товарам, навіть якщо ці вподобання не вказані безпосередньо.

Як виявлення прихованих ознак покращує рекомендації

Виявлення прихованих ознак дозволяє рекомендательній системі виходити за межі поверхневих подібностей. Замість простого підбору користувачів до товарів, з якими вони вже взаємодіяли, система може знаходити глибші зв’язки на основі спільних прихованих характеристик. Це забезпечує більш точні та персоналізовані рекомендації, особливо для нових або менш популярних товарів. Також це допомагає вирішити проблему "холодного старту", оскільки вподобання визначаються за закономірностями у даних, а не лише за явною історією користувача.

Приклад: зниження розмірності матриці користувач-товар до прихованих вимірів

Уявіть собі матрицю користувач-товар, де рядки — це користувачі, а стовпці — продукти. Кожен елемент вказує, чи взаємодіяв користувач із продуктом. Така матриця може бути дуже розрідженою та багатовимірною. Застосовуючи зниження розмірності, цю матрицю можна перетворити на дві менші: одну, що представляє користувачів у просторі прихованих ознак, і другу — товари в тому ж просторі. Добуток цих матриць наближує початкові дані, але з набагато меншою кількістю вимірів, що полегшує виявлення значущих закономірностей.


              123456789101112131415161718192021222324252627
            
import numpy as np

# Example user-item interaction matrix (users: rows, items: columns)
user_item_matrix = np.array([
    [5, 3, 0, 1],
    [4, 0, 0, 1],
    [1, 1, 0, 5],
    [1, 0, 0, 4],
    [0, 1, 5, 4],
])

# Perform Singular Value Decomposition (SVD)
U, sigma, Vt = np.linalg.svd(user_item_matrix, full_matrices=False)

# Reduce dimensions (keep top 2 latent features)
k = 2
U_k = U[:, :k]
sigma_k = np.diag(sigma[:k])
Vt_k = Vt[:k, :]

# Reconstruct the matrix using reduced dimensions
reconstructed = np.dot(np.dot(U_k, sigma_k), Vt_k)

print('Original user-item matrix:')
print(user_item_matrix)
print('\nReconstructed matrix (using 2 latent features):')
print(np.round(reconstructed, 2))

1. Яка одна з ключових переваг виявлення прихованих ознак у системі рекомендацій?

2. Який із наведених методів є поширеним для зменшення розмірності у системах рекомендацій?

Все було зрозуміло?

Дякуємо за ваш відгук!

Секція 4. Розділ 1

Запитати АІ

Запитайте про що завгодно або спробуйте одне із запропонованих запитань, щоб почати наш чат

Секція 4. Розділ 1