变量间常见的关系有两类:
- 确定性关系：变量间的关系是完全确定的，可用函数 y=ƒ(x) 来表示，x(可以是向量)给定后, y的值就唯一确定了。譬如正方形的面积 S 与边长a之间有确定性关系: S=a2, 电路上有欧姆定律 V=IR等.
- 相关关系：变量间有关系，但是不能用函数来表示. 譬如人的身高 h 和体重 w 两者间有相关关系, 一般身高 h 较高的人体重 w 也较重, 但是同身高的人的体重可以是不同的, 医学上就利用 身高h和体重w的相关关系，给出一些“经验公式”来确定一个人的是否过于“胖瘦”和“高矮”；人的 脚掌长度 θ 与 身高 h 也有相关关系。
变量间的相关关系，尽管不能用完全确定的函数形式表示，但是在平均意义上有一定的定量关系表达式，回归分析的主要任务就是寻找这种“在平均意义上”的“一定的定量关系表达式”。
Regression Analysis是研究“变量”与“变量”之间非确定性的“相关关系”的一门学科，通过对客观事物中变量的大量观察或试验获得的数据，去寻找隐藏在数据幕后的相关关系的表达形式：回归函数的估计。