Tässä haasteessa käytetään samaa asuntojen tietojoukkoa. Nyt siinä on kuitenkin kaksi ominaisuutta: talon ikä ja pinta-ala (sarakkeet `'age'` ja `'square_feet'`).

import pandas as pd

df = pd.read_csv('https://codefinity-content-media.s3.eu-west-1.amazonaws.com/b22d1166-efda-45e8-979e-6c3ecfc566fc/houseprices.csv')
print(df.head())

Tehtävänä on rakentaa monimuuttujainen lineaarinen regressiomalli käyttäen `OLS`-luokkaa. Lisäksi tulostetaan yhteenvetotaulukko, josta nähdään kunkin ominaisuuden p-arvot.

import unittest
import numpy as np
import pandas as pd
import statsmodels.api as sm


# Codefinity helper
def _dynamic_test(test_case, condition, success, fail):
    if condition:
        test_case._testMethodName = success
        test_case.assertTrue(True)
    else:
        test_case._testMethodName = fail
        test_case.fail(fail)


class TestUserCode(unittest.TestCase):

    # 1. Test that X contains the correct columns
    def test_X_contains_correct_columns(self):
        import user_code

        cond = False
        try:
            X = user_code.X
            cond = list(X.columns) == ["age", "square_feet"]
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X correctly contains ['age', 'square_feet'].",
            "Expected X to contain columns: ['age', 'square_feet']."
        )

    # 2. Test preprocessing with sm.add_constant
    def test_X_tilde_add_constant(self):
        import user_code

        cond = False
        try:
            X = user_code.X
            X_tilde = user_code.X_tilde

            cond = (
                isinstance(X_tilde, pd.DataFrame)
                and "const" in X_tilde.columns
                and X_tilde.shape[1] == X.shape[1] + 1
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_tilde correctly includes a constant column.",
            "Expected X_tilde to be created using sm.add_constant(X)."
        )

    # 3. Model is fitted using OLS
    def test_model_is_fitted(self):
        import user_code
        from statsmodels.regression.linear_model import RegressionResultsWrapper

        cond = isinstance(user_code.model, RegressionResultsWrapper)

        _dynamic_test(
            self,
            cond,
            "model is a fitted OLS RegressionResultsWrapper.",
            "Expected model = sm.OLS(y, X_tilde).fit()"
        )

    # 4. Test X_new_tilde construction
    def test_X_new_tilde(self):
        import user_code
        import numpy as np

        cond = False
        try:
            X_new = user_code.X_new
            X_new_tilde = user_code.X_new_tilde

            expected_shape = (3, 3)  # const + 2 features

            cond = (
                isinstance(X_new_tilde, np.ndarray)
                and X_new_tilde.shape == expected_shape
                and np.allclose(X_new_tilde[:, 1:], X_new)
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "X_new_tilde correctly created with sm.add_constant(X_new).",
            "Expected X_new_tilde to include constant column and match X_new values."
        )

    # 5. Test predictions
    def test_predictions(self):
        import user_code
        import numpy as np

        cond = False
        try:
            y_pred = user_code.y_pred
            cond = (
                isinstance(y_pred, np.ndarray)
                and y_pred.shape == (3,)
            )
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "y_pred is a NumPy array with correct shape (3,).",
            "Expected y_pred = model.predict(X_new_tilde) to have shape (3,)."
        )

    # 6. Test summary call (using code inspection)
    def test_model_summary_called(self):
        cond = False
        try:
            with open("user_code.py", "r") as f:
                src = f.read()
            cond = "model.summary()" in src.replace(" ", "")
        except Exception:
            cond = False

        _dynamic_test(
            self,
            cond,
            "model.summary() is called.",
            "Expected model.summary() to be printed."
        )


if __name__ == "__main__":
    unittest.main()


test_code.py

Jos teit kaiken oikein, sait p-arvot lähelle nollaa. Tämä tarkoittaa, että kaikki ominaisuutemme ovat merkittäviä mallille.

Lineaarinen regressio on keskeinen käsite ennakoivassa analytiikassa. Sitä käyttävät laajasti data-analyytikot, data scientistit ja tilastotieteilijät, sillä se on helppo rakentaa ja tulkita, mutta riittävän tehokas moniin tehtäviin.

Aloitetaan yksinkertaisimmalla lineaarisen regression mallilla. Opit lineaarisen regression perusidean ja ennusteiden tekemisen Pythonilla.

Useimmat todellisen maailman ennustustehtävät sisältävät useamman kuin yhden muuttujan. Opit käsittelemään lineaarista regressiota useilla muuttujilla.

Suora viiva ei aina kuvaa dataa tarkasti. Opitaan rakentamaan monimutkaisempi malli ennustamista varten. Tätä varten polynominen regressio soveltuu hyvin.

Nyt kun osaat rakentaa useita lineaarisen regressiomalleja, tarvitset tavan valita paras niistä. Tämä on mahdollista mittareiden avulla. Tässä osiossa käsitellään yleisimmin käytettyjä mittareita sekä niihin liittyviä haasteita.

Haaste: Hintojen Ennustaminen Kahden Ominaisuuden Avulla

Haaste: Hintojen Ennustaminen Kahden Ominaisuuden Avulla

Ratkaisu