海水富营养化会导致大量浮游植物生长,(1)损失函数

当前我国近海发生缺氧频率在提高、面积在扩大、程度在加重
海洋面临“窒息”风险 中国科学家建立科学评估模型

python大战机器学习——模型评估、选择与验证

 

1、损失函数和风险函数

澳门京葡网站,(1)损失函数:常见的有 0-1损失函数  绝对损失函数  平方损失函数 
对数损失函数

(2)风险函数:损失函数的期望      经验风险:模型在数据集T上的平均损失

  根据大数定律,当N趋向于∞时,经验风险趋向于风险函数

2、模型评估方法

(1)训练误差与测试误差

  训练误差:关于训练集的平均损失

  测试误差:定义模型关于测试集的平均损失。其反映了学习方法对未知测试数据集的预测能力

(2)泛化误差:学到的模型对未知数据的预测能力。其越小,该模型越有效。泛化误差定义为所学习模型的期望风险

(3)过拟合:对已知数据预测得很好,对未知数据预测得很差的现象。原因是将训练样本本身的一些特点当做了所有潜在样本都具有的一般性质,这会造成泛化能力的下降。常用的防止过拟合的办法为正则化。正则化是基于结构化风险最小化策略的实现。

3、模型评估

(1)留出法:直接将数据划分为三个互斥的部分,然后在训练集上训练模型,在验证集上选择模型,最后用测试集上的误差作为泛化误差的估计。

(2)交叉验证法(S折交叉验证法):数据随机划分为S个互不相交且大小相同的子集,利用S-1个子集数据训练模型,利用余下的一个子集测试模型。对S种组合依次重复进行,获取测试误差的均值。

(3)留一法:留出一个样例作为测试集。其缺点就是当数据集比较大时计算量太大

(4)自助法:先从T中随机取出一个样本放入采样集TS中,再把该样本放回T中。经过N次随机采样操作,得到包含N个样本的采样集TS。将TS用作训练集,T-TS用过测试集。

4、性能度量

(1)测试准确率和测试错误率

(2)混淆矩阵

  查准率:P=TP/(TP+FP)  ,即所有预测为正类的结果中,真正的正类的比例

  查全率:R=TP/(TP+FN),即正真的正类中,被分类器找出来的比例

  不同的问题中,判别标准不同。对于推荐系统,更侧重于查准率(即推荐的结果中,用户真正感兴趣的比例);对于医学诊断系统,更侧重于查全率(即疾病被发现的比例)

  2/F1=1/P+1/R

5、ROC曲线

  真正例率:TPR=TP/(TP+FN)

  假正例率:FPR=FP/(TN+FP),刻画的是分类器错认为正类的负实例占所有负实例的比例

  以真正例率为纵轴、假正例率为横轴作图,就得到ROC曲线。在ROC图中,对角线对应于随机猜想模型。点(0,1)对应于理想模型。通常ROC曲线越靠近点(0,1)越好。

6、偏差方差分解

代码如下:

 

如果把长江入海的营养盐输入通量降低30%,可以减少东海夏季缺氧面积15%左右。这是日前我国学者发表在国际著名海洋学期刊Progress
in Oceanography上的一项研究成果。

该研究由国家海洋局第二海洋研究所卫星海洋环境动力学国家重点实验室领衔完成,他们建立了一个计算模型,可以科学评估长江输入营养盐通量对缺氧面积的影响。

客观来讲,自然界的水体中发生缺氧是正常现象。“现在比较棘手的问题是,当前海洋发生缺氧的频率在提高、面积在扩大、程度在加重,这种趋势的出现需要引起我们的警惕。”卫星海洋环境动力学国家重点实验副主任周锋接受《中国科学报》采访时说。

近海富营养化导致海洋缺氧

海洋的缺氧过程与沼泽、池塘等水域缺氧过程的基本原理是一样的。海水富营养化会导致大量浮游植物生长,浮游植物死亡之后会消耗大量的氧气。

“海洋的上层因为光合作用和海气交换的原因,一般溶解氧浓度较高,但是在海洋跃层以下的黑暗区,既缺乏光合作用,又由于跃层阻碍上下水体的交换,降低了交换速率,因此底层溶解氧的消耗会逐渐累积起来,直到缺氧甚至无氧。”周锋解释说。

正常情况下,海洋发生缺氧的时间不长,面积也不会太大。然而,海水营养过剩会导致藻华发生的频率增加,产生的有机质也大大增加。不仅一些海区正在形成缺氧现象,部分已出现缺氧的海域正进一步恶化为持久性缺氧甚至无氧。

长期趋势来看,有害藻华发生的次数在增加、影响区域在扩大。大规模藻华的暴发会导致底层水体缺氧,使得对氧气有较高要求的海洋生物(通常是经济价值较高的鱼、虾类)或者因为缺氧窒息死亡,或者使得这些生物及其食物链逃离,从而改变了原海域的生物多样性,导致更大的经济损失。

周锋告诉记者,大多数近海国家都被有害藻华影响。我国局部海区的严重程度可能更加突出一些,如长江口、渤海和珠江口,主要是这些沿海地区的人口密度、生活和生产力度、用海的强度都远远超过其他海域。我国近海的有害藻华类型也很多样,包括赤潮、绿潮、褐潮等。

陆地营养盐输入是主要祸首

富营养化和有害藻华之间存在一定关联,这在学界已经有些共识。譬如,营养盐输入通量的影响可能超过营养盐浓度本身的影响;营养盐结构的影响也是重要的,可能是引起近海藻华从硅藻逐渐向甲藻转化的原因。