Für diese Aufgabe wird derselbe Wohnungsdatensatz verwendet. Allerdings enthält er nun zwei Merkmale: Alter und Fläche des Hauses (Spalten `'age'` und `'square_feet'`).

import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b22d1166-efda-45e8-979e-6c3ecfc566fc/houseprices.csv')
print(df.head())

Die Aufgabe besteht darin, ein multiples lineares Regressionsmodell mit der Klasse `OLS` zu erstellen. Außerdem soll die Zusammenfassungstabelle ausgegeben werden, um die p-Werte der einzelnen Merkmale zu betrachten.

import unittest
import numpy as np
import pandas as pd
import statsmodels.api as sm


# Codefinity helper
def _dynamic_test(test_case, condition, success, fail):
    if condition:
        test_case._testMethodName = success
        test_case.assertTrue(True)
    else:
        test_case._testMethodName = fail
        test_case.fail(fail)


class TestUserCode(unittest.TestCase):

    # 1. Test that X contains the correct columns
    def test_X_contains_correct_columns(self):
        import user_code

        cond = False
        try:
            X = user_code.X
            cond = list(X.columns) == ["age", "square_feet"]
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X correctly contains ['age', 'square_feet'].",
            "Expected X to contain columns: ['age', 'square_feet']."
        )

    # 2. Test preprocessing with sm.add_constant
    def test_X_tilde_add_constant(self):
        import user_code

        cond = False
        try:
            X = user_code.X
            X_tilde = user_code.X_tilde

            cond = (
                isinstance(X_tilde, pd.DataFrame)
                and "const" in X_tilde.columns
                and X_tilde.shape[1] == X.shape[1] + 1
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_tilde correctly includes a constant column.",
            "Expected X_tilde to be created using sm.add_constant(X)."
        )

    # 3. Model is fitted using OLS
    def test_model_is_fitted(self):
        import user_code
        from statsmodels.regression.linear_model import RegressionResultsWrapper

        cond = isinstance(user_code.model, RegressionResultsWrapper)

        _dynamic_test(
            self,
            cond,
            "model is a fitted OLS RegressionResultsWrapper.",
            "Expected model = sm.OLS(y, X_tilde).fit()"
        )

    # 4. Test X_new_tilde construction
    def test_X_new_tilde(self):
        import user_code
        import numpy as np

        cond = False
        try:
            X_new = user_code.X_new
            X_new_tilde = user_code.X_new_tilde

            expected_shape = (3, 3)  # const + 2 features

            cond = (
                isinstance(X_new_tilde, np.ndarray)
                and X_new_tilde.shape == expected_shape
                and np.allclose(X_new_tilde[:, 1:], X_new)
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_new_tilde correctly created with sm.add_constant(X_new).",
            "Expected X_new_tilde to include constant column and match X_new values."
        )

    # 5. Test predictions
    def test_predictions(self):
        import user_code
        import numpy as np

        cond = False
        try:
            y_pred = user_code.y_pred
            cond = (
                isinstance(y_pred, np.ndarray)
                and y_pred.shape == (3,)
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "y_pred is a NumPy array with correct shape (3,).",
            "Expected y_pred = model.predict(X_new_tilde) to have shape (3,)."
        )

    # 6. Test summary call (using code inspection)
    def test_model_summary_called(self):
        cond = False
        try:
            with open("user_code.py", "r") as f:
                src = f.read()
            cond = "model.summary()" in src.replace(" ", "")
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "model.summary() is called.",
            "Expected model.summary() to be printed."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Wenn alles korrekt durchgeführt wurde, sind die p-Werte nahe null. Das bedeutet, dass alle unsere Merkmale für das Modell signifikant sind.

Lineare Regression ist ein zentrales Konzept in der prädiktiven Analytik. Sie wird von Data Scientists, Datenanalysten und Statistikern häufig verwendet, da sie einfach zu erstellen und zu interpretieren ist, aber dennoch für viele Aufgaben ausreichend leistungsfähig bleibt.

Beginnen wir mit dem einfachsten Modell der linearen Regression. Sie lernen das Konzept der linearen Regression kennen und erfahren, wie Vorhersagen in Python getroffen werden.

Die meisten Vorhersageaufgaben in der Praxis beinhalten mehr als ein Merkmal. Sie lernen, wie man lineare Regression mit mehreren Merkmalen anwendet.

Eine Gerade beschreibt die Daten nicht immer ausreichend. Lernen Sie, wie ein komplexeres Modell für Vorhersagen erstellt werden kann. Dafür eignet sich die polynomiale Regression.

Nachdem Sie nun wissen, wie man verschiedene lineare Regressionsmodelle erstellt, benötigen Sie eine Methode, um das beste auszuwählen. Dies ist mithilfe von Metriken möglich. In diesem Abschnitt werden die am häufigsten verwendeten Metriken sowie die Herausforderungen bei deren Anwendung erläutert.

Herausforderung: Preisvorhersage mit Zwei Merkmalen

Lösung