logit 公式理解 逻辑回归核心变换详解
logit 公式本质就是对概率做对数几率变换,它把取值范围在 0 到 1 之间的概率 p,转换成全体实数范围的连续数值,也就是 logit p 等于 ln 括号 p 除以 1 减 p,这里 p 代表事件发生概率,p 除以 1 减 p 叫做几率也叫 odds,含义是事件发生概率和不发生概率的比值,再对这个几率取自然对数就得到 logit 值,这个变换最大价值就是解决概率本身有上下边界的问题,因为概率永远卡在 0 到 1,不能直接和线性模型的无限取值自变量匹配,经过 logit 变换之后,输出变成负无穷到正无穷,就可以接入线性回归形式,这也是逻辑回归能够建立分类模型的核心基础。
基础概念拆解
概率 p,取值区间是 0 小于 p 小于 1,p 等于 0 代表事件一定不发生,p 等于 1 代表事件一定发生,但是在 logit 变换里面 p 等于 0 或者 p 等于 1 的时候,logit 值会趋向负无穷或者正无穷,实际建模的时候不会取端点值。
几率 odds,等于 p 除以 1 减 p,这个数值没有上下限,p 接近 0 的时候 odds 接近 0,p 等于 0.5 的时候 odds 等于 1,p 接近 1 的时候 odds 趋向无穷大,odds 大于 1 代表事件发生可能性更高,odds 小于 1 代表事件不发生可能性更高。
logit 变换,就是对 odds 取自然对数,也就是 ln odds,写成完整表达式就是 logit p 等于 ln p 除以 1 减 p。
反向变换 sigmoid 函数
logit 是正向变换,把概率转成对数几率,它的逆运算就是 sigmoid 函数,也就是逻辑函数,如果已知 logit 值记为 z,那么反向还原概率 p 等于 1 除以 1 加 e 的负 z 次方,这个是逻辑回归预测概率的核心公式,建模的时候线性部分算出 z,再通过 sigmoid 把 z 转回 0 到 1 区间的概率,理解 logit 公式一定要同时记住正向和反向两套转换,不然很容易把两个公式搞混。
logit 公式线性表达逻辑
逻辑回归里面,logit p 等于 b0 加上 b1 乘以 x1 加上 b2 乘以 x2 一直累加,也就是对数几率等于自变量的线性组合,这里 b0 是截距,b1 b2 是回归系数,系数的含义是自变量每增加一个单位,logit 值对应的变化量,同时也可以换算成几率比,也就是 odds ratio,系数每增加 1,odds 会乘以 e 的系数次方,这个是逻辑回归系数解释最重要的考点。
数值示例演算
假设 p 等于 0.5,odds 等于 0.5 除以 0.5 等于 1,logit 等于 ln1 等于 0,这个是中心点,也就是发生和不发生概率相等,logit 值为 0。
假设 p 等于 0.7,odds 等于 0.7 除以 0.3 大约等于 2.333,logit 等于 ln2.333 大约等于 0.847。
假设 p 等于 0.3,odds 等于 0.3 除以 0.7 大约等于 0.4286,logit 等于 ln0.4286 大约等于负 0.847,这里可以看到 p 大于 0.5 时 logit 为正数,p 小于 0.5 时 logit 为负数,p 等于 0.5 时 logit 等于 0,正负号可以快速判断倾向。
核心特点对照表
项目 概率 p logit 值
取值范围 0 到 1 负无穷到正无穷
对称性 p 等于 0.5 对应中心 中心数值是 0
解读方式 直接看发生可能性 对数几率线性可加
反向转换 无 由 sigmoid 还原 p
常见误区说明
第一个误区,很多人误以为 logit 就是概率本身,实际上 logit 是概率经过对数几率变换之后的值,不再是概率,不能直接当成百分比解读。
第二个误区,混淆 logit 和 log,普通 log 是以 10 为底,logit 公式里面固定使用自然对数 ln,底数是 e,不是 10。
第三个误区,认为逻辑回归是回归预测概率,它底层是对 logit 做线性建模,不是直接对概率做线性拟合,概率线性拟合会超出 0 到 1 范围,模型不稳定。
应用场景
logit 公式广泛用于二分类任务,医学风险预测 用户是否转化 信用违约判断,这类任务目标是输出事件发生概率,通过 logit 变换实现线性建模,同时保留概率解释能力,在统计分析里面,logit 变换也常用于分类数据的建模,是广义线性模型里面二元响应模型的标准连接函数。
总结,理解 logit 公式的关键就是抓住三步,先求发生不发生的比值也就是 odds,再对 odds 取自然对数,得到可以线性建模的实数,并且记住逆变换 sigmoid 可以把 logit 重新还原成概率,逻辑回归本质就是假设 logit 和自变量呈线性关系,不是概率和自变量线性相关,掌握这个核心区别,就能看懂逻辑回归全部推导和系数解释。
【常见问题】
问题 1 logit 公式里面为什么一定要使用自然对数
回答 1 logit 公式选用自然对数 ln,是为了后续求导计算方便,同时可以和指数函数 sigmoid 形成互逆关系,方便逻辑回归最大似然求解,如果换成以 10 为底对数,虽然数学上也可以变换,但是就不再是标准 logit 公式。
问题 2 logit 公式计算出来的值可以直接解释成概率吗
回答 2 不可以,logit 公式输出的是对数几率,不是概率,数值可以是负数,概率范围只能在 0 到 1,想要得到概率必须使用 sigmoid 函数反向转换 logit 公式的结果。
问题 3 逻辑回归和 logit 公式是什么关系
回答 2 逻辑回归就是建立 logit 公式和自变量之间的线性等式,也就是假设 logit p 等于自变量线性组合,依靠 logit 公式完成概率到实数空间转换,让线性模型可以处理二分类概率预测任务。
问题 4 当 p 等于 0.5 的时候 logit 公式结果为什么等于 0
回答 4 p 等于 0.5 的时候,odds 等于 0.5 除以 1 减 0.5 等于 1,ln1 等于 0,所以 logit 公式结果等于 0,这个点代表事件发生和不发生概率相等,是 logit 变换的对称中心点。
【免责申明】
本文为机器学习与统计学 logit 公式科普讲解,仅用于学习参考,不同教材对符号表述略有差异,实际建模应用请结合专业统计软件输出规范,模型使用需要结合业务场景验证。
相关阅读
-
羊肉汤面条想要汤头奶白鲜香,羊肉软嫩不膻,面条筋道不坨,核心就是先把羊肉小火慢熬成浓白羊汤,单独煮面条...浏览全文>>
-
腌豆腐一般就是家常自制腐乳,好吃的关键是先让豆腐长白毛发酵,再裹料入坛密封熟成,成品绵密起沙、咸香入味...浏览全文>>
-
腌豆腐一般就是家常自制腐乳,好吃的关键是先让豆腐长白毛发酵,再裹料入坛密封熟成,成品绵密起沙、咸香入味...浏览全文>>
-
logit 公式本质就是对概率做对数几率变换,它把取值范围在 0 到 1 之间的概率 p,转换成全体实数范围的...浏览全文>>
-
新鲜无花果最直接的吃法就是清洗干净之后直接鲜食,也可以用来榨汁做沙拉烘烤煲汤制作果酱,成熟度高的新鲜无...浏览全文>>
-
核心结论 lnk 扩展名也就是 lnk 文件,是 Windows 系统专属的快捷方式文件,全称 link,中文一般叫做快...浏览全文>>
-
做好小海螺核心要点是先吐沙,焯水时间一定要短,煮久肉质会老、发柴咬不动,清洗的时候把海螺尾部内脏去掉,...浏览全文>>
-
✅ 核心一句话:listen 是不及物动词,后面如果要接听的对象,必须加介词 to,变成 listen to;如果后面...浏览全文>>
-
咸味腊八粥的做法,和传统甜腊八粥不一样,它不用放糖,是以杂粮杂豆为主,搭配肉类、菌菇、根茎蔬菜,用盐和...浏览全文>>
-
Linux 是开源类 Unix 操作系统,整体用法核心就是通过终端命令行完成系统管理 文件操作 软件安装 网络配...浏览全文>>
- 小海螺怎么做好吃 家常小海螺多种做法教程
- 西米水果捞的做法 零失败家常教程
- leave 英文解释 英英释义
- lawfy 指什么 词汇释义详解
- 双面胶的去除方法 不同表面除胶实操技巧
- 生蚝要蒸多长时间 清蒸生蚝火候详解
- kindle 怎么导入电子书 3 步帮你导入电子书 USB 传书简易教程
- 扇贝做法大全家常 多款式扇贝家常菜
- justnow 的用法 英语短语精讲
- jojo 第几部有替身 替身设定起源详解
- 排骨怎么炒才好吃 干香入味家常做法
- 牛蹄子怎么做好吃 红烧卤炖款
- IT 专业哪个学校好 选校评估指南
- 面筋怎么制作方法 洗面法手工详细教程
- 米凉粉如何做好吃 多种家常做法
- ip 地址子网掩码网关怎么填 静态 ip 填写规范
- 江浙都有什么名菜 苏菜浙菜经典菜品汇总
- 鸡蛋干的家常做法 自制紧实版本
- 红酒做菜有哪些菜 经典红酒入菜清单
- iPhone12 动态壁纸怎么自己动 触发设置教程
