回归分析（Regression）专题

什么是回归分析？

回归分析是一种统计方法，用于研究因变量（目标）与一个或多个自变量（特征）之间的关系。 它广泛应用于经济学、金融、医学、工程和机器学习等领域，用于预测、趋势分析和因果推断。

常见的回归类型

• 线性回归（Linear Regression）：假设变量间呈线性关系。
• 多元线性回归（Multiple Linear Regression）：包含多个自变量。
• 多项式回归（Polynomial Regression）：拟合非线性关系。
• 岭回归（Ridge Regression）：引入L2正则化防止过拟合。
• Lasso回归（Lasso Regression）：使用L1正则化，可进行特征选择。
• 逻辑回归（Logistic Regression）：虽名为“回归”，实为分类算法（用于二分类）。

简单线性回归示例（JavaScript实现）

以下是一个用原生 JavaScript 实现的最小二乘法线性回归演示：

// 示例数据：[x, y]

const data = [

  [1, 2], [2, 3], [3, 5], [4, 4], [5, 6]

];



function linearRegression(data) {

  const n = data.length;

  let sumX = 0, sumY = 0, sumXY = 0, sumXX = 0;



  for (let i = 0; i < n; i++) {

    sumX += data[i][0];

    sumY += data[i][1];

    sumXY += data[i][0] * data[i][1];

    sumXX += data[i][0] * data[i][0];

  }



  const slope = (n * sumXY - sumX * sumY) / (n * sumXX - sumX * sumX);

  const intercept = (sumY - slope * sumX) / n;



  return { slope, intercept };

}



const model = linearRegression(data);

console.log(`y =  $ {model.slope.toFixed(2)}x +  $ {model.intercept.toFixed(2)}`);

// 输出：y = 0.90x + 1.30

应用场景

• 房价预测（基于面积、位置、房龄等）
• 销售预测（基于广告投入、季节、历史销量）
• 股票价格趋势分析
• 医疗领域：根据患者指标预测疾病风险
• 能源消耗预测

评估回归模型的指标

• R²（决定系数）：解释方差比例，越接近1越好。
• 均方误差（MSE）：预测值与真实值之差的平方平均。
• 均方根误差（RMSE）：MSE 的平方根，单位与目标一致。
• 平均绝对误差（MAE）：误差绝对值的平均，对异常值不敏感。