近红外光谱分析技术的基本原理
发布时间：2007-09-25 来源：网络 阅读次数：4746 分享到：
近红外光谱分析技术综合了多种学科，包括光谱学、化学计量学和计算机科学等。本章内容主要包括近红外光谱的产生机理和特点、近红外光谱分析中的化学计量学方法。
§2.1近红外光谱的产生机理和特点
分子在红外光谱内的吸收产生于分子振动或转动的状态变化或分子振动或转动状态在不同的能级间跃迁。能量跃迁包括基频跃迁（对应分子振动状态在相邻振动能级之间的跃迁）、倍频跃迁（对应于分子振动状态在相隔一个或几个振动能级之间的跃迁）和合频跃迁（对应于分子两种振动状态的能级同时发生跃迁）。所有近红外光谱的吸收谱带都是中红外吸收的基频（4000-1600cm-1）的倍频及合频。
可以从经典力学与量子力学两种观点来说明分子的基频、倍频与合频的概念。按照经典力学，最简单的分子由两个质量分别为m1和m2的原子组成，可模拟为由弹簧连在一起的两个小球组成的弹簧振子。由虎克定律知道，这种系统的振动属简谐振动，它的振动频率为：
（2—1）
式中K为力常数，其值决定于组成分子的两个原子间键能量的大小，μ为双原子分子的折合质量。如果组成分子的两个原子的质量分别为m1和m2，则
若K以毫达因/nm为单位（1达因=10-9牛），μ取原子量单位，则双原子分子机械振动相应的波数频率为：
（2—2）
若分子是极性分子，则分子在机械振动的同时产生电磁场的振动，其波数频率与机械振动的波数频率相同。若用表示分子电振动波数频率
（2—3）
分子的这种振动频率就称为振动的基频，分子也可以按基频的整数倍2σ、3σ……频率发生振动，这种频率称为分子振动的一、二……级倍频。若分子中存在几种频率的振动，则在一定条件下两种频率的振动可以发生耦合，形成频率相当于两种频率之和的所谓合频振动。
当力常数以及原子的质量为某一给定数值时，根据式（2—1）计算得到的振动光谱理应是一根狭窄的谱线，而实际上却是具有一定宽度的吸收带，此外在接近振动频率的整数倍处，或在两个振动频率之和的波数处，都可以找到强度虽然很弱但却是肯定存在的所谓倍频、合频等吸收带，这些现象都难以用经典力学为基础所推导出的振动方程式来解释的。
由量子力学可得谐振子的能级公式为：
（2—4）
式中振子量子数V=0，1，2，3，……。Ev为V能量级的能量值。谐振子在不同能级间跃迁的选择定为⊿V=±1，即跃迁只能在相邻能级间发生。每次跃迁吸收光子的能量E等于。
按Poltzmann方程可算得在室温下分子绝大部分处于振动基态（V=0）。由振动基态到振动第一激发态（V=1）之间的跃迁称为基频跃迁。实际的分子振动并不完全符合简谐振动，由分子化学键的位能曲线得知分子属非线性谐振子，其能级公式近似表达为：
（2—5）
即相邻的V和V-1能级间的能量差
（2—6）
式中X为非谐性常数，X常为很小的正数，其值约为0.01。根据式（2—5），从能量角度看，O-H, N-H, S-H和C-H等键的倍频强度会比基频小10到1000倍。
非线性谐振子跃迁的选择定则是：⊿E=±1，±2……，即除了基频跃迁外，也可能发生从基态到第二或更高激发态（V=2、3……）之间的跃迁，这种跃迁称为二级倍频或多极倍频跃迁，所产生的吸收谱带二级倍频或多级倍频吸收，总称为倍频吸收。
表2-1和表2-2分别给出了C-H、N-H和O-H键的基频、倍频、合频吸收带的中心近似位置和吸收带范围。表2-2中R代表任意官能团，Ar代表芳香族原子团。而它们在近红外谱区的分布见图2-1。
表2-1 C-H N-H O-H的基频、合频、倍频吸收带的中心近似位置
|
基团
|
cm-1
|
nm
|
|||||
|
C-H
|
N-H
|
O-H
|
C-H
|
N-H
|
O-H
|
||
|
基
频
|
伸缩振动
弯曲振动
|
3000
|
3400
|
3650
|
3300
|
2940
|
2740
|
|
1450
|
1600
|
1350
|
6900
|
6250
|
7700
|
||
|
合频
|
4347
|
4545
|
5000
|
2300
|
2200
|
2000
|
|
|
一级倍频
|
5700
|
6600
|
7000
|
1750
|
1515
|
1430
|
|
|
二级倍频
|
8700
|
10000
|
10500
|
1150
|
1000
|
950
|
|
图2-1 C-H N-H O-H的基频、倍频吸收谱带在近红外谱区的位置
表2-2 C-H N-H O-H的基频、倍频吸收谱带
|
基团
|
振动方式
|
波长（nm）
|
||
|
基频
|
一级倍频
|
二级倍频
|
||
|
CH3
|
不对称伸缩振动
对称伸缩振动
|
3385～3365
3494～3470
|
1728～1717
1783～1770
|
1164～1156
1200～1192
|
|
CH2
|
不对称伸缩振动
对称伸缩振动
|
3425～3413
3511～3499
|
1750～1738
1795～1782
|
1178～1170
1209～1200
|
|
＝CH
＝CH2
|
伸缩振动
|
3322～3231
|
1695～1687
|
1142～1130
|
|
≡CH
苯环—H
|
伸缩振动
伸缩振动
|
3077
3279
|
1539
1684
|
1037
1134
|
|
R—NH2
|
不对称伸缩～
对称伸缩～
|
2920
2985
|
1505
1530
|
1014
1030
|
|
R—NH
|
伸缩振动～
|
2941
|
1531
|
1030
|
|
Ar —NH2
|
|
|
1545～1509
|
986～1011
|
|
CONH2
|
不对称伸缩～
对称伸缩～
|
2841
2941
|
1449
1496
|
976
1007
|
|
H2O
|
不对称伸缩
对称伸缩
|
2735
|
1440
1368
|
960
|
|
ROH
|
|
2770～2740
|
1420～1398
|
|
多原子分子的振动比较复杂。在一个多原子分子中，会有3N-6种能级(N为原子数)，加之可以有许多不同组合的合频，因此常常会出现其中有两个能级是十分接近的，这样就使得近红外谱区的谱带重叠。
因为每个近红外谱带可能是若干个不同基频的倍频和合频谱带的组合，以及各种使谱带增宽的微观原因，造成没有锐峰和基线分离的谱峰，大量的是重叠的谱峰和肩峰。另外影响近红外谱带位置变化的因素较多，如氢键的影响，使谱带向长波方向移动，液体稀释和温度升高使谱带向短波长方向移动，使得确定近红外谱带的归属很困难。
§2.2 近红外光谱分析技术中的化学计量学方法
由于近红外光谱谱峰较宽，实际样品中各种成分的吸收峰重叠严重，需要用化学计量学方法对近红外光谱进行分析。化学计量学在近红外光谱分析中占有非常重要的地位。图2-2是近红外光谱分析的原理示意图，化学计量学将近红外光谱和样品的组成或性质数据关联了起来，得到近红外光谱分析模型。
|
近红外光谱
|
|
近红外光谱
|
|
未知样品
|
|
模型
|
|
组成或性质
|
|
化学计量学软件
|
|
训练集样品
|
|
组成或性质数据
|
图2-2 近红外光谱分析原理图
化学计量学一词是由瑞典化学家Wold于1971年在为一项基金定名时首先提出的，并在以后的发展中被普遍接受。化学计量学采用统计学、应用数学和计算机科学的方法来优化化学实验、化工生产和化学量测过程，并从化学量测的数据中最大限度地提取相关信息。化学计量学在近红外光谱分析中的应用主要有以下五个方面：光谱数据的预处理、信息提取和压缩、定量校正、模式识别和模型传递。光谱数据预处理的主要目的是过滤噪声、减小实验误差的影响。其具体实施将在下一章介绍。信息提取和压缩主要目的是为定量校正做准备。模式识别主要包括产地的鉴别、等级和分类等等。由于用不同光谱仪器或同一光谱仪器采集样品光谱的结果往往不同，所以通过某一光谱仪器采集光谱进而建立起来的数学模型，一般不能用于对其它光谱仪器采集到的光谱进行含量预测或模式识别。为了使模型能在其它仪器上使用，需要对模型进行修正，这就是模型传递的情形之一。
经典光谱定量分析的基础是比尔定律：
（2—7）
其中Aλ为吸收度，ελ为消光系数，L为光程，C为被测组分浓度。不同物质具有不同的ελ，在光程L一定的条件下，Aλ和C成线性关系，这是定量分析的基础。
多元线性回归、偏最小二乘法和人工神经网络法是近红外光谱分析中常用的化学计量学方法。它们原理不同，都有各自的特点，需要根据被研究对象的特点合理运用。
§2.2.1 多元线性回归
多元线性回归的常见形式为：
（2—8）
式(2—8)中y是样品的质量参数，是样品的第k个光谱分量(第k个波长处的光谱吸收值)，(或)。n是自变量数，，，，…，是回归系数。
从式(2—8)可以看出在多元线性回归中，只要知道样品中某些成分的浓度，就可以建立样品质量参数体系的定标模型。唯一的要求就是选择好对应于被测质量参数的数据向量(如某些特征波长处的光谱吸收)。
§2.2.2 偏最小二乘法
偏最小二乘法（Partial Least Squares）分为单因变量偏最小二乘法（PLS1）和多因变量偏最小二乘法（PLS2）。PLS1用于对各个组分分别建立数学模型，PLS2用于同时对多个组分建立数学模型。
假设要建立各因素构成的数据矩阵X（包含p个变量）与由各目标构成的数据矩阵Y（包含p1个变量）之间的关系，样本数为m。大体包含以下3步：
首先将X矩阵作双线性分解，即
（2—9）
其中矩阵T含有两两正交的隐变量或得分矢量t。从统计学上看这个表达式与主成分分析法相同。
然后对目标矩阵Y也作双线性分解。即
（2—10）
其中U矩阵包含Y的隐变量u，即u为矩阵Y中变量的线性组合，E为残差阵。
在本课题中，X可以看作是光谱数据矩阵，Y可以看作是茶叶成分含量值。
第三步，PLS方法要求X分解得到的隐变量t与Y分解得到的隐变量u为最大重叠或相关性最大，因此有
（2—11）
式中e为残差矢量，系数v根据最小二乘确定。
在实际问题中，由于矩阵X中的变量之间存在着相关性，同时还包含有噪声，所以PLS方法建模时取X矩阵分解后的隐变量个数h一般小于实际变量个数p，使得一些包含有噪声的隐变量被删除，因而具有噪声过滤作用[27]。
但是如果使用的隐变量数过少，就不能充分反映被测组分浓度变化产生的光谱变化，模型预测准确度就会降低。如果使用过多的隐变量建模，就会引入一些代表噪声干扰的隐变量，使模型的预测能力下降。因此，需要合理确定模型的隐变量数以充分利用光谱信息和滤除噪声。
对隐变量个数的确定常采用所谓的PRESS（Prediction Residual Error Sum of Squares：预报残差平方和）判据。它的基本思想如下：将样品集分为训练样品集和检验样品集，假定当前的隐变量个数是h1，将检验样品集的样品逐一代入根据训练样品集建立的模型，求得预测值和参考值的差（残差），在计算它们的平方和：
（2—12）
式中m为用来预测的样品数。yn和yn,-n分别为参考值和预测值。PRESS越小，表示模型的预测能力越强。这样可以将其取得最小值的隐变量个数h作为最终的隐变量个数。
若矩阵Y中只有一个目标变量（只对茶叶中的一种成分建模），则PLS方法的计算将会简化。将此时的PLS称为PLS1算法，对多目标变量时称为PLS2法。用PLS1法建立的数学模型的预报能力一般会更高。这主要是因为有时矩阵Y中的目标变量yi不属于同一类型，对应于由X求得的隐变量最优个数不一定相同，而PLS2法只能有一个隐变量个数。
PLS具有以下的特点：
（1）既可以使用全部光谱数据（数据向量多）又可以使用部分光谱数据（数据向量少）。
（2）把数据分解和回归融合在一起，得到的特征向量直接与被测成分或性质相关，而不是与数据矩阵中变化最大的变量相关。
（3）PLS方法比较适用于处理变量多而样本数少的问题。
（4）由于PLS法是一种非线性迭代方法，对于非线性体系和质量参数之间相互干扰的数据回归效果优于多元线性回归方法。
相对于多元线性回归法，PLS法的缺点是模型建立过程复杂，公式含义抽象、较难理解。
在化学计量学定标方法中，偏最小二乘法最为常见[28]。例如：曹干等采用PLS法建立蔗汁蔗糖定量分析的数学模型。蔗汁蔗糖分和转光度预测数学模型的决定系数（R2）分别为0.9980和0.9979，校正均方根差（RMSECV）分别为0.143%和0.155%，预测误差与常规分析方法的误差接近[29]；覃方丽等对鲜辣椒中糖份和维生素C的含量用偏最小二乘回归法进行了建模，表明二者的含量与近红外光谱有显著的相关关系（0.9024，0.9122）[30]；王东丹等对青烟叶的总糖、还原糖、尼古丁、总氮、总氯等5种主要品质参数建模，用的是偏最小二乘法。其中总糖的平均相对误差最小（4.78%），而总氯的平均相对误差最大（18.60%）[31]。
§2.2.3 人工神经网络法
人工神经网络（Artificial neural network，ANN）又称神经网络，是一种模拟人脑功能的信息处理系统。它主要借鉴了人脑神经系统处理信息的过程，以数学网络拓扑结构为理论基础，在信号处理、模式识别、目标跟踪、机器人控制等等领域的应用中获得了引人注目的成果。
虽然目前ANN系统模拟生理神经网络还处于低级水平，但已显示出一些与生物脑类似的特点：
（1）ANN是并行结构，处理顺序也是并行和同时的，其结算功能分布在多个处理单元上，与Von Neumann 型计算机的工作原理不同。
（2）ANN具有学习能力。根据一定的学习算法，网络能通过训练实例来决定自身的行为。
（3）ANN具有较强的容错能力。因神经网络的知识存储体现在神经元互连分布上，即存在整个系统中。一定比例的神经元不参加计算，对整个系统得性能不会产生重大影响。
人工神经网络有多种算法，目前用的最多的是BP人工神经网络[32]。下面以BP网络为例介绍神经网络的结构。
ANN最基本的构成单位为处理单元，即人工神经元。就像生物神经元一样，人工神经元也可以有很多个输入。人工神经元的每一输入都经过相关的加权，以影响输入的激励作用，就像生物神经元中突触的可变强度，它确定了输入信号的强度。就像生物神经元中的突触可受外界因素影响一样，人工神经元对所有输入信号求和，然后确定其输出。
一个具有R个输入的BP神经元模型如图2-3所示，其中每个输入与对应权值w的乘积之和与阈值一起作为传递函数f的输入。
图2-3 BP神经元结构
在BP神经网络中经常使用的传递函数（transfer function）是对数S形函数、正切S形函数和线性函数（图2-4——图2-6）。对数S形函数产生0到1之间的输出，而正切S形函数产生-1到1之间的输出。所以在多层BP神经网络中，采用不同的传递函数将得到不同范围的输出，如果采用线性函数就可以得到任意大小的输出值。
图2-4 对数S形函数 图2-5 正切S形函数
图2-6 线性函数
图2-7所示是典型的BP网络拓扑结构。图中从左至右的3层分别称为输入层、隐含层和输出层。从图中可看出，输入层、隐含层和输出层均由许多节点组成。输入信号经输入层节点，向前传递到隐含层节点，经过作用函数后，再把隐含层节点输出的信号传递至输出层节点，再经作用函数作用后由输出层节点给出结果。
图2-7 BP神经网络的结构
确定了神经网络的结构以后要让它“学习”，网络学习公式推导的指导思想是，对网络权值与阈值进行修正，使代价函数沿梯度方向下降[33]。通常代价函数定义为：
（2—13）
式中m为样本数，q为理想输出值（或实际输出值）的个数。算法的学习过程由正向传递和反向传递组成。在正向传递过程中，输入信息从输入层经隐含层节点逐层处理，并传向输出层，每层节点的状态只影响下一层节点的状态。如输出层没得到预期的结果（代价函数E太大），则转入反向传递，将误差信号沿原通道返回，并通过修改各层的权重，使误差（代价函数E）最小。图2-8给出了BP神经网络学习的程序流程。
人工神经网络在红外光谱分析中有较为成功的例子：杨南林等采用近红外光谱法测定冬虫夏草样品中的甘露醇，其含量范围为8.082%~14.548%。在7501.7~6097.8 cm-1与5453.7~4246.5 cm-1波段，分别采用主成分回归（PCR）、偏最小二乘回归（PLSR）和BP神经网络方法建立了样品近红外光谱的一阶微分光谱与其甘露醇含量之间的相关模型。BP神经网络模型的内部交叉验证误差均方根为0.475，预测误差均方根为0.608，均优于PCR和PLSR的处理结果。表明BP神经网络法对非线性检测对象具有较好的建模效果[34]。孙秀云等运用人工神经网络法对多组分大气污染物（8种）进行了定量分析，能得到较为满意的结果[35]。
图2-8 BP神经网络的程序流程
茶叶完整叶的近红外光谱测量结果会有噪声存在；茶叶成分复杂，除水分外被分析组分分子结构复杂，光谱中必然存在非线性因素。多元线性回归适用于线性关系好的体系，不考虑质量参数之间相互干扰的影响，对于数据向量（特征波长）较少的体系回归效果较好。但是对于非线性体系回归效果不好，进而影响模型的预测能力。本文应用偏最小二乘法和人工神经网络法来建立四种成分的校正模型。偏最小二乘法具有噪声过滤作用，是目前十分有效、比较优越的方法。而人工神经网络法是解决非线性问题的最优方法之一。
免责声明：来源标记为网络的文章其原创性及文中陈述文字和内容未经协会证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺请读者仅作参考并请自行核实相关内容。
行业分析
光电新闻
010-84321456/1457
coema@coema.org.cn
北京市朝阳区酒仙桥路四号中国电科十一所园区
