教育装备采购网
河南大学体育论坛580*60 第六届图书馆论坛580*60

Stata软件对截断和删失数据处理方法介绍

教育装备采购网 2017-09-21 10:48 围观1098次

  截断和删失是完全不同的现象,都会导致我们的样本不完整。这些现象出现在医疗科学、工程、社会科学和其他研究领域。如果忽略截断和删失,当我们分析数据时,我们的人口参数估计就会不一致。

  截断和删失会出现在处理样本的过程中,那我们就从定义左截断和左删失开始:

  当低于阈值的个体在样本中不存在时,我们的数据就属于左截断。比如,我们想研究某些鱼的大小,以捕鱼网为样本,鱼小于鱼网,所以在我们的样本中是不存在的。

  我们的数据从K开始左删失,如果每个个体值在样本中存在并低于K,但实际值未知。例如,我们有一个测量仪器,不能检测到一定水平以下的值时,就会发生这种情况。

  我们主要讨论左截断和左删失,但是我们讨论的概念可以应用到所有的截断和删失中去:右截断、右删失和区间。

  当执行截断或删失数据的估计时,我们需要使用一些工具来说明这些不完整的数据。对于截断线性回归,我们可以使用truncreg命令;对于删失线性回归,我们可以使用intreg和tobit命令。

  这篇文章,我们将要分析截断数据和删失数据的特征,并讨论用truncreg命令和tobit命令来说明不完整的数据。

  截断数据

  案例:皇家海军陆战队

  Fogel et al.(1978)发布了皇家海军陆战队人员的身高的数据集,此数据可以扩展到2个世纪。它可以用来确定不同时期,英国男性的平均身高。Trussell and Bloom (1979)指出样本被截断,由于新兵最低身高的限制。数据被截断了(而不是删失),因为身高低于最低限制的个人都没有出现在样本中。考虑到这一事实,他们拟合了1800年到1809年期间皇家海军陆战队身高的截断分布。

  由于Trussell和Bloom提到的问题,我们使用了人工数据集。我们假设人口数据服从正态分布μ=65和σ=3.5,并且都是左截断到64.

  我们使用一个直方图来总结我们的数据:

  

  可以看到截断点,没有小于64的数据。

  如果我们忽略截断,会发生什么呢?

  如果我们忽略截断,将不完整的数据视为完整的,样本均值与总体均值就会不一致,因为截断点以下的所有观测值都是缺失的。在我们的实例中,真实的均值95%都在置信区间预测平均值外。

  

  我们可以将样本直方图与忽略截断后得出的正态分布进行比较,并且把这些值看成是人口均值和标准差的估计。

  

  

  使用truncreg考虑截断

  我们可以使用truncreg来估计潜在非截断分布的参数。考虑左截断64,可以使用选项ll(64)。

  

  现在估计的值接近我们的实际模拟值μ=65,σ=3.5。

  让我们将截断密度重叠到数据直方图中去。

  

  

  截断分布适合我们的样本,我们分析人口分布均值等于65,标准偏差等于3.5.

  删失数据

  现在我们看一下删失数据的案例,看看他们和截断数据之间的区别。

  案例:家庭表面尼古丁的含量情况

  Matt et al.在2004年进行了一项研究,对烟草烟雾污染吸烟者家庭的整个表面进行了评估。非常有趣的一项测量是家具表面的尼古丁含量情况。每个家庭中的擦拭样本来自每件家具。然而,尼古丁污染低于一定限度的,测量仪检测不到。

  数据被删失了,而不是被截断了。当尼古丁污染低于检测极限值时,样本中仍然包含了尼古丁的检测值,这个检测值就等于最低极限值。被这项研究中的这个问题启发,我随意创建了一个人工数据集。尼古丁污染水平的日志被假定为正常。在这里,lognlevel包含尼古丁含量。用于模拟日志尼古丁含量的参数,删失数据是μ=ln(5),σ=2.5,左删失数据为0.1。我们开始绘制直方图。

  

  

  直方图左侧有一个尖峰,因为在检测极限以下的值被记录为等于极限值。计算样本的原始均值和标准偏差,将不会为潜在的未经审查的高斯分布提供适当的估计。

  

  均值和标准偏差分别估计为1.68和2.4,而实际参数为ln(5) =1.61 和2.5。

  使用Tobit账户审核

  我们估计均值和标准偏差分布,并使用ll选项的tobit来考虑左删失值(如果审核极限值随观测值而变化,那么可以用intreg来代替)。

  

  潜在的未经审核的分布估计的均值为1.62,标准差2.49. 我们把未经审核的分布叠加到直方图中:

  

  

  潜在的未经审核的分布匹配直方图的一部分,左边尾部补偿审查点的尖峰。

  总结

  在抽样数据中,删失和截断是不同的两种现象。截断高斯抽样中潜在的人口参数可以用truncreg来估计。删失高斯抽样中潜在的人口参数要用intreg或tobit来估计。

  结语

  我们已经讨论了删失和截断的概念,也举例说明了这两个概念的意思。与本次讨论有关的要点如下:

  本次讨论是基于高斯模型之上的,但是主要的概念可以扩展到任意的分布中。以上的例子在没有协变量的情况下拟合回归模型,因此,我们可以更好地可视化删失和截断分布的形状。然而,这些概念很容易扩展到协变量的回归框架中,并且特定观测值的期望值是协变量函数。

  我们已经讨论过使用truncreg和tobit来处理删失和截断数据。但是这些命令也可以应用到非删失和非截断数据中,只要这些数据是特定分布中的人口抽样。

点击进入北京天演融智软件有限公司展台查看更多 来源:教育装备采购网 作者:中国科学软件网 责任编辑:李瑶瑶 我要投稿
校体购终极页

相关阅读

版权与免责声明:

① 凡本网注明"来源:教育装备采购网"的所有作品,版权均属于教育装备采购网,未经本网授权不得转载、摘编或利用其它方式使用。已获本网授权的作品,应在授权范围内使用,并注明"来源:教育装备采购网"。违者本网将追究相关法律责任。

② 本网凡注明"来源:XXX(非本网)"的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,且不承担此类作品侵权行为的直接责任及连带责任。如其他媒体、网站或个人从本网下载使用,必须保留本网注明的"稿件来源",并自负版权等法律责任。

③ 如涉及作品内容、版权等问题,请在作品发表之日起两周内与本网联系,否则视为放弃相关权利。

九牧