0x00 什么是逻辑回归 Logistic Regression

逻辑回归：逻辑回归既是一个回归算法，也是一个分类算法，通常用来解决二分类问题

回归算法如何解决分类问题呢？

逻辑回归的预测值是一个概率值，我们根据概率值的大小进行分类。概率值可以被解释为输入样本属于某个类别的概率。逻辑回归中使用 Sigmoid 函数（逻辑函数）将线性回归的预测值映射为0和1之间的概率值。

例如：给你一个病人的信息，你计算出该病人得恶性肿瘤的概率，当该概率大于0.5时，我们将其分类为恶性肿瘤，当该概率小于0.5时，我们将其分类为良性肿瘤。

逻辑回归如何进行预测概率值呢？

我们之间讨论的线性回归，直接通过训练数据集得到模型参数theta ，然后theta 和新样本矩阵点乘就可以得到预测值向量。但是因为概率值的值域范围必定是在[0,1]之间的，所以我们还需要将预测值向量送入一个称为sigmoid的函数中，将其映射到[0,1]之间。

分析：

当t趋近与正无穷时，函数值无限逼近1

当t趋近与负无穷时，函数值无限逼近0

当t等于0时，函数值为1/2

编程实现：

0x01 逻辑回归的损失函数

该损失函数没有公式解，只能使用梯度下降法求解。

0x02 逻辑回归损失函数的梯度

向量化：

对逻辑回归的梯度进行向量化：

0x03 实现逻辑回归算法

'''
Author: your name
Date: 2020-11-12 14:21:32
LastEditTime: 2020-12-03 14:58:50
LastEditors: Please set LastEditors
Description: In User Settings Edit
FilePath: /ML/playML/LinearRegression.py
'''
import numpy as np
from .metrics import accuracy_scoreclass LogisticRegression:def __init__(self):self.coef_ = None  # 系数self.interception = None  # 截距self._theta = None  # θdef _sigmoid(self,t):return 1./(1.+np.exp(-t))# 批量梯度下降法def fit(self, X_train, y_train, eta=0.01, n_iters=1e4):#损失函数def J(theta, X_b, y):y_hat = self._sigmoid(X_b.dot(theta))try:return -np.sum(y*np.log(y_hat)+(1-y)*np.log(1-y_hat))/len(y)# theta 向量 和 X 列向量 相乘 就是预测结果组成的向量except:return float('inf')def dJ(theta, X_b, y):  """ 向量化的方式計算梯度 """return X_b.T.dot(self._sigmoid( X_b.dot(theta) )-y ) / len(X_b)def gradient_descent(X_b, y, initial_theta, eta, n_iters=1e4, epsilon=1e-8):theta = initial_thetai_iter = 0while i_iter < n_iters:gradient = dJ(theta, X_b, y)last_theta = thetatheta = theta - eta*gradientif(abs(J(theta, X_b, y)-J(last_theta, X_b, y)) < epsilon):breaki_iter += 1return thetaX_b = np.hstack([np.ones((len(X_train), 1)), X_train])initial_theta = np.zeros(X_b.shape[1])  # 等于Xb的列数self._theta = gradient_descent(X_b, y_train, initial_theta, eta, n_iters)self.interception = self._theta[0]self.coef_ = self._theta[1:]return self    def predict_proba(self, X_predict):""" 給定待預測的數據集 X_predict ，返回y_predict對應的概率值 組成的列向量"""assert self.interception is not None and self.coef_ is not None,\"在predict之前请先fit"X_b = np.hstack([np.ones((len(X_predict), 1)), X_predict])return self._sigmoid( X_b.dot(self._theta) ) def predict(self, X_predict):""" 根據概率值是否大於0.5 進行分類 """proba = self.predict_proba(X_predict)return np.array(proba>=0.5,dtype='int')def score(self, X_test, y_test):y_predict = self.predict(X_test)return accuracy_score(y_test, y_predict)def __repr__(self):return "LogisticRegression()"

使用我们封装的逻辑回归算法：（使用鸢尾花数据集）