import unittest
import importlib
import numpy as np
import scipy.spatial.distance as dist
import scipy.cluster.hierarchy as sch


def _dynamic_test(test_case, condition, success_message, failure_message):
    if condition:
        test_case._testMethodName = success_message
        test_case.assertTrue(True, success_message)
    else:
        test_case._testMethodName = failure_message
        test_case.fail(failure_message)


def get_first_differing_index(expected_array, actual_array):
    for i, (val_1, val_2) in enumerate(zip(expected_array, actual_array)):
        if not np.array_equal(val_1, val_2):
            return i, expected_array[i], actual_array[i]

    if len(expected_array) > len(actual_array):
        return len(actual_array), expected_array[len(actual_array)], None
    else:
        return len(expected_array), None, actual_array[len(expected_array)]


class TestUserCode(unittest.TestCase):

    def test_distance_matrix_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'distance_matrix'),
            "The `distance_matrix` variable is declared.",
            "Expected `distance_matrix` to be declared."
        )

    def test_linkage_matrix_is_declared(self):
        import user_code
        _dynamic_test(
            self,
            hasattr(user_code, 'linkage_matrix'),
            "The `linkage_matrix` variable is declared.",
            "Expected `linkage_matrix` to be declared."
        )

    def test_distance_matrix_is_correct(self):
        import user_code
        from sklearn.datasets import make_blobs

        data, _ = make_blobs(n_samples=10, centers=3, cluster_std=1.0, random_state=42)
        expected_value = dist.pdist(data, metric='euclidean')

        variable = 'distance_matrix'
        actual_value = getattr(user_code, variable, None)
        condition = False
        if actual_value is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_value, np.ndarray):
            failure_message = f"`{variable}` is not a `numpy.ndarray`."
        elif actual_value.size == 0:
            failure_message = f"`{variable}` is empty."
        elif np.array_equal(actual_value, expected_value):
            condition = True
            failure_message = None
        else:
            idx, expected_element, actual_element = get_first_differing_index(expected_value, actual_value)
            failure_message = f"Expected `{variable}` to contain `{expected_element}` at index {idx}, but got `{actual_element}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct data.",
            failure_message
        )

    def test_linkage_matrix_is_correct(self):
        import user_code
        from sklearn.datasets import make_blobs

        data, _ = make_blobs(n_samples=10, centers=3, cluster_std=1.0, random_state=42)
        expected_distance = dist.pdist(data, metric='euclidean')
        expected_value = sch.linkage(expected_distance, method='single')

        variable = 'linkage_matrix'
        actual_value = getattr(user_code, variable, None)
        condition = False
        if actual_value is None:
            failure_message = f"The `{variable}` variable is not declared."
        elif not isinstance(actual_value, np.ndarray):
            failure_message = f"`{variable}` is not a `numpy.ndarray`."
        elif actual_value.size == 0:
            failure_message = f"`{variable}` is empty."
        elif np.array_equal(actual_value, expected_value):
            condition = True
            failure_message = None
        else:
            idx, expected_element, actual_element = get_first_differing_index(expected_value, actual_value)
            failure_message = f"Expected `{variable}` to contain `{expected_element}` at index {idx}, but got `{actual_element}`."

        _dynamic_test(
            self,
            condition,
            f"`{variable}` contains the correct data.",
            failure_message
        )


if __name__ == '__main__':
    unittest.main()

test_main.py

Opnå en solid forståelse af klyngeanalyse, en central ikke-superviseret læringsteknik til at afdække mønstre i uetiketterede data. Udforsk det grundlæggende i K-Means, Hierarkisk Klyngedannelse, DBSCAN og GMM'er, og få praktisk erfaring med rigtige datasæt for at opbygge selvtillid i anvendelsen af klyngeanalyse på virkelige problemstillinger.

Dyk ned i grundlæggende klyngering og opdag, hvordan det adskiller sig fra klassifikation. Udforsk essentielle algoritmer, værktøjer og biblioteker, der driver denne uovervågede læringsteknik til at afdække skjulte mønstre i data.

Opnå et solidt kendskab til centrale forbehandlingsteknikker, der sikrer effektiv klyngeanalyse. Håndtering af manglende værdier, kodning af kategoriske variable, normalisering af data samt valg af passende afstandsmål og koblinger for at øge nøjagtigheden af klyngeanalysen.

Opnå færdighederne til effektiv anvendelse af K-Means clustering. Forstå algoritmens funktion, fastlæg det optimale antal klynger, og få praktisk erfaring med implementering af K-Means på både syntetiske og virkelige datasæt.

Udforsk det grundlæggende i hierarkisk klyngedannelse og lær, hvordan data grupperes i meningsfulde klynger ved hjælp af dendrogrammer. Opnå fortrolighed med at identificere det optimale antal klynger og implementere teknikken på både syntetiske og virkelige datasæt.

Opdag hvordan DBSCAN udmærker sig ved at identificere klynger med varierende former og håndtere støj i data. Få indsigt i mekanismerne bag denne tæthedsbaserede algoritme, hvordan punkter tildeles klynger, og anvend den på både syntetiske og virkelige datasæt med sikkerhed.

Opnå et solidt kendskab til Gaussian Mixture Models og hvordan de anvender sandsynlighed til at modellere komplekse klyngestrukturer. Forstå principperne bag Gaussisk fordeling, undersøg hvordan GMMs fungerer, og opbyg fortrolighed ved at anvende dem på både dummydata og virkelige datasæt.

Udfordring: Implementering af Hierarkisk Klyngedannelse

Løsning

Awesome!

Udfordring: Implementering af Hierarkisk Klyngedannelse

Løsning

Awesome!