TensorFlow 实现 Mnist 数据集的多分类逻辑回归模型

个人网站：   http://thinkgamer.cn/

CSDN博客：https://blog.csdn.net/gamer_gyt

微博：          https://weibo.com/5352480017

微信公众号：数据与算法联盟（DataAndAlgorithm）

多分类逻辑回归的基础概要和在Spark上的实现可参考：

• 多分类逻辑回归（Multinomial Logistic Regression）

• 多分类实现方式介绍和在Spark上实现多分类逻辑回归（Multinomial Logistic Regression）

本篇文章涉及到的tf相关接口函数及释义如下：

tf.nn.softmax

Softmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示：

其中，Vi 是分类器前级输出单元的输出。i 表示类别索引，总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值转化为相对概率，更容易理解和比较。我们来看下面这个例子。

一个多分类问题，C = 4。线性分类器模型最后输出层包含了四个输出值，分别是：

经过Softmax处理后，数值转化为相对概率：

很明显，Softmax 的输出表征了不同类别之间的相对概率。我们可以清晰地看出，S1 = 0.8390，对应的概率最大，则更清晰地可以判断预测为第1类的可能性更大。Softmax 将连续数值转化成相对概率，更有利于我们理解。

实际应用中，使用 Softmax 需要注意数值溢出的问题。因为有指数运算，如果 V 数值很大，经过指数运算后的数值往往可能有溢出的可能。所以，需要对 V 进行一些数值处理：即 V 中的每个元素减去 V 中的最大值。

tf中的softmax函数接口为：

• logits：非空张量

• axis：将被执行的softmax纬度，默认为None

• name：名称，默认为None

• dim：axis的别名，默认为None

tf.log()

计算元素的自然对数

tf.reduce_sum()

求和

tf.reduce_mean()

求平均数

tf.argmax()

返回tensor 列表中最大值索引号，eg：

tf.cast()

数据格式转换，eg：

最终实现代码

运行代码输出为：

从最终的结果可以看出：

• loss一直在下降，说明模型是拟合的

• 训练集和测试机的精确率都很高，模型效果表现不错

• 当然也可以通过调节batch_size，epochs等参数进行效果调优