二、非编网络系统评估指标理论分析

　　2002年11月杨雅辉与李小东提出了一种网络性能指标体系[9]，该文的贡献在于提出了一种能系统反映网络性能的指标体系，引入了泛化指标和确定性指标的概念，并详细探讨了确定性指标的内容及描述框架。

　　在网络系统的测评中，应首先确定网络性能指标体系，然后针对性能指标进行确定性描述，以规范测量评估。指标分为确定性指标和泛化性指标两种，确定性指标是在泛化指标的框架下进行详细描述和定义的指标，能直接用于约束、规范、描述和指导对该指标的测量，如PQR值;而泛化指标是未明确定义的，无法直接基于泛化指标对网络进行测量，如系统安全性。文献[9]提出了一种“七元组”方法，可将泛化指标转换为确定性指标，以进行量化并评估。

　　本文在七元组的方法上加以调整改进，考虑到非编网络系统对协议和时间两个参数并不敏感，因此可在七元组的基础上略去p_parameters和t_parameters两个参数，形成五元组，即：

　　设 S 是指标体系中对应于指标内容 T 的一个指标(泛化性指标)，有

　　S = { d1, d2, …, di …dk} 其中 k≤n，且 m(di)∈T。

　　S 中的每个元素 di均是确定性指标，需要给出确定性描述框架。di的确定性描述框架为五元组 (name, condition, unit,definition,method)，

　　其中各参数分别是：

　　name：指标名

　　condition：指标所包含的与测试范畴相关的环境参数。

　　unit：指标值的单位。

　　单位由指标类型确定。指标类型按指标的性质分为独立型指标和组合性指标。

　　独立型指标是需要独立进行测试的指标，它不依赖于其它指标而存在。按测量方法的依赖性又可分为分析型指标和经验型指标。分析型指标的值不依赖于所使用的测试方法，而经验型指标则依赖于测试方法，使用不同的测试方法进行测试，可能会得到不同的测试结果。

　　组合型指标不使用测试手段，在其所依赖的各指标值的基础上通过运算获得。

　　definition：指标含义的详细描述。

　　method：指标的测量方法的描述性说明。

　　目前，传统测试方法难以全面、规范的对非编网络系统进行测试评估，主要原因之一就是因为大量泛化性指标的存在，无法进行直接测量;而略去泛化性指标又将导致测试评估的片面性和不规范性。采用五元组的方式，可将泛化性指标转换为确定性指标，将体系中未确定、不能直接测量的指标转换为可直接进行测量的指标。在此基础上，可建立非编网络评估指标系统，将测试评估规范化、系统化。

　　三、建立非编网络系统评估标准

　　本文参考了文献[1]对非编网络系统测试的研究结果并加以归纳调整，将非编网络测试分为视频质量单元、网络带宽单元、软件功能单元、系统稳定性和安全性单元等几个项目。再根据各测试项目的具体测试方法，确定了多项指标作为评估的标准。其中，确定性指标将通过已有的方法进行测试;泛化性指标，则将针对这些指标进行类型、参数、测量方法等方面的详细描述。以此作为非编网络系统的评估标准。

　　1、非编网络系统的确定性性能指标

　　根据非编网络系统测试各项目的情况，在网络通道和视频接口质量测试单元相应的指标包括：HD-SDI接口特性(SDI幅度、上升时间、下降时间、上冲、下冲、抖动)、HDTV节目制作图像特性(行有效取样数、帧有效行数)以及HDTV节目制作图像扫描特性(帧总行数、隔行比、帧频、每行总取样点数)。

　　在视频质量主观评价单元的指标有：质量下降平均分。

　　在PQA模拟主观评价单元的指标有：PQR值。

　　在带宽单元相应的指标有：带宽，单位为MB/s。

　　2、非编网络系统的泛化性性能指标

　　根据非编网络系统测试各项目的分析情况[10]和文献[8]的要求，按照五元组的方法，在软件测试单元相应的指标有：

　　软件编辑功能

　　(软件编辑功能，condition:特技卡有无。 枚举值，组合性指标，definition：对视频编辑功能的支持能力，对素材采集、素材共享、素材管理、故事板编辑、校色功能、高标清混编、多格式混编、64位编辑软件、特技编辑和字幕制作十项参数估算权值，最后评价为“支持、不支持、弱、强”四种值。测量方法：模拟工作)

　　音频功能

　　(音频功能，无限制, 枚举值，组合性指标，定义：对音频处理的支持能力，对音频采集、音频编辑、视频同步观看和内嵌调音台四项参数估算权值，最后评价为“支持、不支持、弱、强”四种值。测量方法：模拟工作处理音频)

　　字幕功能

　　(字幕功能，无限制, 枚举值，组合性指标，定义：对字幕的支持能力，对唱词制作、高级字幕包装、滚屏制作和模块无缝连接四项估算权值，最后评价为“支持、不支持、弱、强”四种值。测量方法：模拟工作处理字幕)

　　网管功能

　　(网管功能，无限制, 枚举值，组合性指标，定义：对网络管理的支持能力，对用户管理、网络管理、空间管理、日志管理、权限管理、软件设置管理和统计功能七项估算权值，最后评价为“支持、不支持、弱、强”四种值。测量方法：模拟网管工作)

　　在系统稳定性方面相应的指标有：

　　硬件稳定性

　　(硬件稳定性，无限制,四比特，组合性指标，定义：对冗余功能的支持能力，包括MDC服务器冗余、数据库服务器冗余、光纤交换机冗余和以太交换机冗余四项。每支持一种能力，其对应位设置为1，否则设置0。测量方法：模拟硬件故障)

　　软件稳定性

　　(软件稳定性，功能模块满负荷运行,四比特，组合性指标，定义：满负荷情况下对功能的支持能力，包括上载模块测试、下载模块测试、合成模块测试和综合测试四项。每通过一项支持能力测试，其对应位设置为1，否则设置0。测量方法：启动网络中所有工作站，执行相同工作造成满负荷)