该论文发表于《IEEE TRANSACTIONS ON FUZZY SYSTEMS》(中科院一区,IF=10.7),题目为《A Comprehensive Adaptive Interpretable Takagi–Sugeno–Kang Fuzzy Classifier for Fatigue Driving Detection》。
成都信息工程大学计算机学院科研团队的郜东瑞为此论文的第一作者。成都信息工程大学计算机学院科研团队的张永清教授为此论文的通讯作者。
论文链接:
https://ieeexplore.ieee.org/document/10528899
脑电图(EEG)信号作为一种可靠的生物指标,由于能够反映驾驶员的认知和神经反应状态,已被广泛用于疲劳驾驶检测。然而,EEG信号存在数据分布不平衡、个体间差异显著以及场景复杂等问题,这些都会影响检测效果。输入对象之间的微小共性可以被解释为整个样本的重要信息。因此,为了尽可能保留信息,本研究设计了一种新的模糊特征整合方法,即综合自适应可解释Takagi-Sugeno-Kang模糊分类器(CAI-TSK-FC),用于整合模糊特征。该方法不仅能够更高效地捕获多个子分类器的特征,缓解数据集不平衡问题,还可以通过随机保留模糊规则和归一化减少错误信息的积累。最终,本研究将多个子分类器的结果线性组合,综合考虑多个子分类器的学习效果,以适应不同个体和数据集。在自制数据集和公共数据集上的实验表明,CAI-TSK-FC在不同的EEG疲劳驾驶数据集上具有良好的性能和可解释性。与现有方法相比,其准确率分别提高了3.15%和1.52%,特异性分别提高了4.72%和0.91%。
研究背景
驾驶疲劳是交通事故中最重要的影响因素之一,不仅危及驾驶员的生命,也危及其他道路使用者的安全。而开发一种有效的算法来检测驾驶员的疲劳状态已成为减少交通事故发生的一种手段。早期的疲劳检测算法可分为主观检测方法和客观检测方法。主观检测方法受到个体意愿和判断的极大影响,缺乏足够的说服力;客观检测方法包括生理信号、面部特征和车辆轨迹。面部特征和车辆轨迹计算分别受到光照和驾驶员技术的影响。使用生理信号进行分析可以避免上述问题。在生理信号中,脑电图(EEG)信号能够捕捉有关神经生理脑活动的信息,并准确反映驾驶员的心理状态。现有的研究使用深度学习方法来表征疲劳状态下的EEG信号,尽管这些研究取得了令人满意的结果,但它们并不能完全解释所学习到的特征。近年来,Takagi-Sugeno-Kang(TSK)模糊系统在EEG领域展现了独特的能力,但仍存在一些限制,具体如下:
1)EEG信号容易受到复杂环境的影响,不同场景下EEG信号的特征存在差异,这限制了模型的泛化能力。
2)疲劳驾驶过程中产生的EEG数据存在采样不平衡,正负EEG采样差异对模型预测精度的影响尚未明确。
3)传统的堆叠TSK模糊分类器会持续积累错误信息,从而影响后续层的特征提取效果。
为了解决这些问题,本研究提出了一种新的用于检测疲劳的方法,即综合自适应可解释TSK模糊分类器(CAI-TSK-FC)。CAI-TSK-FC利用一种新的模糊特征整合方法从数据集中提取更多信息,以解决不平衡带来的学习资源不足问题。此外,为了减少错误信息的积累,本研究开发了模糊规则随机保留和线性组合方法,以增强模型的自适应性能,同时将错误信息对结果的影响降至最低。本研究的模型通过整合低阶TSK模糊系统实现了与深度学习技术相当的性能。此外,本研究利用TSK模糊系统的语言规则可解释性来提高可解释性,减少深度学习“黑箱问题”的影响。
方法
作为一种非平稳信号,EEG对生理和环境因素非常敏感,获取的信息存在许多不确定性。基于模糊集合理论的模糊分类器能够缓解不确定性问题,因此本研究将其用于信号分类。图1和图2共同展示了本文的整体算法框架。图1展示了EEG预处理过程,图2展示了CAI-TSK-FC模型的总体结构。
图1 EEG处理。预处理是一个包含滤波和模糊化两个步骤的过程,目标是尽可能去除伪迹并将数据转换为模糊属性。其中,N表示输入样本的数量,OD表示原始特征的维度,D表示处理后的特征维度,且D≤OD。
图2 CAI-TSK-FC结构。 输入数据X和目标T进入第一个子分类器OP-TSK1。保留部分模糊规则R1及其学习结果Y1,并计算此时的分类性能。如果达到了预期结果,则训练停止。否则,将R1、Y1和原始数据X输入到下一个子分类器,进行多个子分类器结果的线性组合。这一过程会不断循环,直到模型产生预期的结果。
在预处理阶段,本研究首先对原始数据进行滤波以去除伪迹,然后使用主成分分析(PCA)对数据进行降维处理,最后使用模糊C均值方法(FCM)对获得的数据进行模糊化操作,以得到模糊属性数据。
A. TSK模糊分类器
经典的TSK模糊分类器由一组规则组成,其中第r条模糊规则如下:
在TSK模糊分类器中,输入向量,
是从输入向量X映射到输出空间的模糊集合。输入空间的模糊子集Ar通过TSK模糊分类器转换为输出空间的模糊集合fr(x)。R是模糊规则的数量,D是样本的维度数。
是输入向量x的第i维对应的第r条规则的模糊子集。
如果fr(x)是,则TSK模糊分类器为零阶。本研究选择零阶TSK模糊分类器作为构建CAI-TSK-FC的基本结构。研究证明,零阶TSK模糊分类器的集成等同于高阶TSK模糊分类器,并且具有更好的可解释性。本研究采用高斯函数作为模糊隶属函数,使模糊隶属度计算更加平滑,并能更好地适应不同数据。TSK模糊分类的输出可以表示为:
其中,是通过高斯隶属函数计算的模糊规则的结果,
是通过模糊规则标准化后的模糊隶属函数,μr(x)是通过模糊规则的前件部分经过模糊化运算得到的,即:
其中,可以通过高斯函数计算模糊隶属函数表示为:
其中,mrd和σrd分别是高斯隶属函数的中心和标准差。
本研究使用五个高斯隶属函数来表示每条模糊规则。这些隶属函数的中心(MF1, MF2, MF3, MF4, MF5)分别为0、0.25、0.5、0.75和1。因此,可以从语言学上解释模糊规则,即(非常低、低、中等、高、非常高)。基于这些结果,可以提高零阶TSK模糊分类器的可解释性。
B. 优化TSK模糊分类器
传统的TSK模糊分类器对某些不平衡样本的识别率较低。为了解决这一问题,本研究提出了一个优化的零阶TSK模糊分类器作为CAI-TSK-FC的子分类器。主要框架如图3所示。
图3 利用BN和指数函数优化TSK模糊分类器的计算过程。
预处理后的数据将输入到本研究提出的TSK子模糊分类器中,接下来的部分中,用表示第l层子分类器的输出,l = 1, 2, ..., 7。
1)输入层:预处理后的EEG特征数据可以表示为X = (x₁, x₂, ..., xn),该层的数据是输入数据,不参与计算:
其中i = 1, 2, ..., n表示第i个样本。
2)隶属函数层:为了提高模型对数据的适应能力,该层将输入数据映射到高斯隶属函数。此外,逻辑关系建模在模糊规则构建中也起着重要作用,这一层也实现了这一功能。对于EEG信号而言,不同数据所表示的信息存在差异和相似性。通过计算隶属函数,可以识别不同数据之间的相似性和差异性,从而提高模型的分类能力。在这一层,使用高斯隶属函数计算输入数据的隶属度值如下:
其中r是第r条模糊规则,d是第d个特征。
在TSK模糊分类器的模糊规则生成中,并非所有子分类器的规则都需要进行后续计算。因此,本研究在CAI-TSK-FC的每个Op-TSKˡ (l = 1, 2, ..., L)中添加了一个特征选择矩阵。该矩阵的作用是控制每条模糊规则的后件计算。其格式如下:“如果x₁是低的且
∧ x₂是高的且
∧ x₃是中等的且
∧ x₄是非常低的且
∧ x₅是低的且
,则
属于类别c。r = 1, 2, ..., R。”当
时,忽略第r条模糊规则的贡献;只有当
时才应用该规则。此外,本研究还添加了一个模糊规则矩阵
。在这个矩阵中,每个元素的值随机分配为0或1,以决定每条模糊规则使用哪个高斯隶属函数。例如,FRM[4, 2, 3] = 1表示第三条模糊规则中的第四个输入特征使用“低”隶属函数。
其中k是第k个高斯隶属函数的中心值[0, 0.25, 0.5, 0.75, 1]。l表示第l层子分类器。
3)空间激发层:这一层的主要功能是计算空间激发强度。基于前一层的函数计算,可以获得输入数据每个特征的隶属度值。传统的空间激发强度是通过连续累积乘法方法计算的。这种方法受到维度诅咒的影响,无法适应高维数据,公式如下:
其中,当的差异较小时,
会收敛到0,此时
。同样,当
时,即数据是高维的情况下,
的值会非常大,导致溢出。
在EEG信号分类任务中,更多的数据可能会带来更好的分类性能。为了解决这一问题,本研究修改了这一层的函数。公式如下:
为了使计算结果更加平滑,本研究将连续累积乘法方法改为求和公式。这种方法仍然能够很好地辨别各种数据差异,同时保持原有功能。
4)归一化层:在这一层中,本研究对前一层的激发水平进行归一化处理。由于的结果始终为正,连续求和可能会产生饱和问题,因此进行归一化处理。在后续计算中使用平均值,并且在计算中,平均值的计算会是指数形式。具体公式如下:
其中D是特征的数量,R是模糊规则的数量。
5)批量归一化(BN)层:BN是一种在深度学习中广泛使用的优化技术,被引入到TSK模糊分类优化中。它可以加快模型的收敛速度,并提高其泛化能力。对于获得的模糊规则样本的BN结果如下:
其中mB是样本的均值,σB是其标准差。γ和m是学习参数,ϵ是一个小常数,用于防止分母为零。
可以使用BN操作来优化TSK模糊系统,因为不同实验对象之间的数据分布问题。本研究通过对不同规则的激发水平计算均值和标准差,使用BN操作获得新的规则水平。最后,使用新的规则水平计算分类结果。
6)去模糊化层:这一层实现了使用最小学习机(LLM)计算后验参数。LLM是用于加速单层或多层前馈神经网络的训练速度的一种算法。假设R₁, R₂, ..., RL表示第l层子层随机选择的模糊规则,β₁, β₂, ..., βL表示第l层的输出权重。对于训练集D = {X, T},T是二分类问题对应的分类标签。后验参数。
为了快速求解后验参数,本研究提前确定子层的数量,获得前一层的输出,然后计算当前层的参数。最后求解带有给定常数C的岭回归问题,使用LLM算法快速求解:
如果用矩阵形式表示:
其中。因此,得到βL的解析公式为:
研究证明证明,使用LLM算法的优点是学习可以通过输出层进行,而无需更多耗时的迭代操作。同时,本研究的重点是EEG,即高维数据。如公式(14)所示,这种形式可以减少由于大量样本数据而导致的许多复杂操作。
C. 所有子分类器的线性组合
疲劳驾驶是一个连续的过程,它会影响驾驶员的EEG信号。随着时间序列的增加,这些不确定性所导致的特征重要性会发生变化。为了解决这一问题,每个子分类器的输入是由原始输入空间的随机投影和前一个子分类器生成的。然而,每个子分类器所学习到的特征仍然存在不确定性。因此,为了确保更好的整体分类结果,建议对多个子分类器进行线性组合。
在CAI-TSK-FC中,训练从零阶子分类器Op-TSK₁开始,它以原始数据作为输入。初始假设是Op-TSK₁仅包含五条模糊规则,其输出为Y₁,这与后续高层子分类器不同。接下来,CAI-TSK-FC将输入提供给下一个TSK子分类器。当第一层的TSK子分类器未能达到预期结果时,CAI-TSK-FC将使用当前层的输入和输出来形成下一层的输入,并随机选择当前层的一条模糊规则来计算下一层的模糊规则。此时,输入为。如果第l层的TSK子分类器未能达到所需的性能,则CAI-TSK-FC将继续训练第l + 1层的数据,并重复该过程,直到在第L层获得预期结果。
如果用Y₁, Y₂, Y₃, ..., YL表示所有子分类器基于输入数据的输出,则最后一层的输出为:
其中是每层的组合系数。考虑以下因素:
1)应尽可能接近真实标签;
2)第一层的输出应与真实标签进行正则化;
3)第二层及后续子分类器的输出应尽可能接近前一层的最大输出。
公式如下:
其中ε和ξ是两个正则化系数。它们可以手动设置并自动调整。上述公式等价于:
其中,
,
。
对λ求导并令其导数为零,可以得到λ的解析解:
可以得到λ的解析解如下:
实验结果
本文的实验基于SEED-VIG公开数据集和自制数据集。本研究将CAI-TSK-FC与其他五种基于EEG的TSK模糊系统分类器进行了比较,包括FS-FCSVM、MV-TSKFC、MV-TSK-FS-HSIC、TSK-JDA-FLS和TSK-TL。在所有TSK模糊系统模型中将模糊规则的数量设置为5,并将层数的初始值设置为3。
本研究将数据集随机划分为20%的测试集和80%的训练集,并进行了五折交叉验证,使用平均结果来评估性能。准确率、召回率、特异性、精确率和F1分数被用作分类性能指标。
A.分类结果
表1和表2分别展示了上述方法在自制数据集和SEED-VIG公开数据集上的分类结果。
表1 自制数据集上不同方法的检测结果对比
表2 SEED-VIG数据集上不同方法的检测结果对比
可以看出,CAI-TSK-FC模型具有优越的分类性能。与次优方法相比,CAI-TSK-FC在自制数据集和SEED-VIG公开数据集上的准确率分别提高了3.15%和1.52%。这表明CAI-TSK-FC具有较高的识别性能,主要原因如下:
1)CAI-TSK-FC采用深度集成框架,能够获取更多的数据特征信息,从而更全面地区分不同的疲劳状态。此外,CAI-TSK-FC在每一层中保留了一份模糊规则,并将其添加到下一层。
2)提出的CAI-TSK-FC优化了每个子分类器中的原始TSK模糊系统,并引入了批量归一化(BN)和最小学习机(LLM),以提高模型的计算能力。
为了全面评估模型的分类性能,图4和图5中分别展示了两个数据集中每个受试者的分类准确率。
图4 自制数据集中14名受试者的准确率对比
图5 SEED-VIG数据集中14名受试者的准确率对比
可以看出,CAI-TSK-FC分类器在不同受试者之间具有显著优势。基线模型FS-FCSVM的分类效果最低。对于自制数据集,第二名受试者的分类性能低于其他受试者,而第八名受试者的分类效果较高。对于SEED-VIG公开数据集,第三名受试者的分类效果低于其他受试者,而第四名受试者的分类效果优于其他受试者。这表明不同模型在个体受试者之间存在差异。上述结果表明,基于EEG的驾驶疲劳分类在不同受试者之间具有良好的效果。
B.不平衡数据集的评估结果
接收者操作特征(ROC)曲线可以直观地反映分类器的性能,并提供在不同阈值下的性能比较,因此可以用来评估分类器在不平衡数据集上的性能。本研究使用测试集的预测结果计算真正例(TP)、假正例(FP)、真负例(TN)和假负例(FN),然后绘制ROC曲线,并计算G均值和曲线下面积(AUC)值。
图6和表3显示了本研究的方法在ROC曲线上的表现良好。
图6 自制数据集上不同方法的ROC曲线
表3 自制数据集上不同方法的AUC和G均值
此外,AUC值和G均值分别为0.9046和0.8197,也高于其他方法。同时,本研究的模型在公开数据集上的表现更好。不平衡数据集对模型效果的影响主要是由于学习资源不足以及正负样本之间的差异较大。为了解决这一问题,本研究利用改进的零阶TSK模糊系统提取关键特征,并积累多层模糊规则,增强模型的学习资源。此外,在训练过程中使用BN来压缩错误信息的积累。最后,通过线性组合减少每个模块提取的错误信息的权重,从而实现更有效的分类。这种方法导致AUC和G均值得分的提高。同样,图7和表4也验证了本研究的结果。
图7 SEED-VIG数据集上不同方法的ROC曲线
表4 SEED-VIG数据集上不同方法的AUC和G均值
总之,本研究的方法在解决不平衡问题方面优于其他比较方法。
C.不同场景下的实验效果
根据受试者的实验结果,不同场景下的数据不平衡程度存在差异。表5显示了14名受试者的正负样本数量。表5表明,三种场景下的正负样本数量存在显著差异,同时也表明不同场景下不平衡问题的严重程度不同。
表5 不同场景下正负样本的数量
在本实验中,每种比较方法均进行了十折交叉验证,并计算平均准确率以评估其分类效果。图8中的柱状图显示了六种比较方法在三种不同场景下的分类效果。
图8 不同场景下六种方法的分类准确率
本研究的方法的分类效果优于其他任何方法。根据图8可以看到,在LS场景下的准确率略低于其他两种场景。这可能是由于受试者在开放道路场景下的疲劳程度较低,且其数据集的不平衡性较为明显,导致模型学习资源不足。然而,本研究提出的CAI-TSK-FC仍然表现良好,这表明本研究采用的深度集成结构能够缓解这一问题。
D.可解释性
为了更好地展示CAI-TSK-FC的可解释性,在表6中列出了自制数据集第二层中每个子分类器的两条可解释规则。
表6 CAI-TSK-FC在自制数据集第二层的模糊规则可解释性结果
其中,F1、F2和F25表示原始数据集的特征,F26表示前一层的输出特征。当把输入特征划分为五个模糊子集时,它们的语义可以解释为非常低(VL)、低(L)、中等(M)、高(H)和非常高(VH)。每一行都可以转换为具有非线性部分的模糊规则。例如,根据公式(7),第二层的五条模糊规则如表6所示。
图9 当层数为3时,模型的模糊规则可解释性结果展示
如图9所示,经过预处理后,EEG信号数据在第二层有25个特征。在第一层输出后,增加了1-D特征,特征数量增加到26个。同时,本研究使用前一层的模糊规则对当前层进行累积计算,并使用公式(13)得到当前层的分类结果。为了在每个TSK子分类器中展示易于理解的输出表达式,在表VI中详细列出了CAI-TSK-FC结构的前三层的前五条模糊规则。随机生成的模糊规则是所涉及特征的总和,包括特征空间中的模糊划分。FRM和FDM分别表示规则生成矩阵和特征选择矩阵。以L=1的第一条FRM为例,FRM[1,4,1]=1表示第一条模糊规则中第一个特征的高斯隶属函数中心为非常高(VH),而FDM[5,1]=1表示第一条模糊规则中第五个输入特征被选中进入下一步计算,否则跳过该特征的计算。其他层的模糊规则具有类似的含义。
图10 模糊隶属矩阵特征的可视化
此外,本研究还可视化了模糊隶属矩阵特征的前三个特征,如图10所示。在模糊隶属矩阵特征的可视化中,三个特征分别表示为x轴、y轴和z轴。根据这三个特征的值,确定每个样本在3-D空间中的位置。例如,如果一个样本在特征1上值较高,在特征2上值较低,在特征3上值中等,则其在3-D图中的位置可能更靠近x轴的顶部、y轴的底部和z轴的中部。这个3-D图解释了基于这三个特征的样本分布。还可以根据点的颜色和大小确定样本在模糊集合中的隶属度,红色表示值为1,蓝色表示值为0。样本点在特征上的值越大,其对结果的影响就越大。
例如,在图9中,第二层的FRM第一条模糊规则显示,第一条模糊规则中的第一个和第二个特征采用高斯隶属函数中的非常高(VH)。第26个特征采用高斯隶属函数中的高(H)。同样,第二条、第三条、第四条和第五条模糊规则也可以进行解释。根据上述内容,可以看到CAI-TSK-FC具有良好的可解释性。
上述实验结果证实,本研究提出的CAI-TSK-FC在预测驾驶疲劳方面具有良好的分类效果、泛化能力和高可解释性,能够应对不同场景下的问题。
总结
本研究提出了一种基于脑电信号的综合自适应可解释Takagi-Sugeno-Kang模糊分类器(CAI-TSK-FC),用于疲劳驾驶检测。该方法通过以下策略实现显著的效果检测:
尽管该方法在跨受试者和场景分类中表现良好,但在噪声数据处理和模型性能方面仍有改进空间。未来研究将探索如何适应原始数据集,以提升实时分类能力。
撰稿人:陈天健
审稿人:邱丽娜