原创《高性能计算在广播电视广告监管应用》
本文是关于广播电视方面毕业论文提纲范文与广播电视广告和应用研究和监管相关专升本毕业论文范文。
方成圆
国家新闻出版厦门监测台
【摘 要】 高性能计算在快速数据处理和海量数据高速分析方面的特点与监管业务的信息化发展相契合,更容易实现大时间和地域跨度的及时监管和及时处理.本文详细介绍了高性能计算在广播电视广告监管方面的应用.
【关键字】 计算机集群 海量数据 资源利用 交互效率
一.引言
高性能计算（High performance computing,缩写H P C,也称“超算”）【1】通常指多处理器集群或多台计算机集群计算的系统和环境,通过软件系统和硬件环境的完美配合实现在单位机房面积内运算效能最大化的系统.高性能计算分很多类型,包括通过高性能网络互联的通用计算机集群系统或专用计算机集群到天河之类的巨型机系统,系统运算核心从十几颗到上万颗不等.
随着信息技术发展,高性能计算已经不单指大规模通用CPU或重核CPU集群计算系统,基于GPU集群和X86服务器集群的高性能计算系统也日趋成熟.通过高速网络连接,用户可以根据业务需要搭建规模不一,相对低廉的超算系统提升单位机房面积综合计算效能.高性能计算应用领域非常广泛,传统的应用领域包括：量子化学、分子模拟、气象预报、天气研究、油气勘探、流体力学、结构力学、核反应等.随着经济发展和社会进步,人们需要更深入、更精细和更大规模的对研究对象进行分析和计算模拟,高性能计算成为在发现新现象、认识科学规律、进行工程设计中不可替代的手段.应用范围从传统领域不断扩大到资源环境、航空航天、新材料、新能源、医疗卫生、金融、文化产业等经济和社会发展的众多领域.
在海量数据大规模分析应用系统中,在每天P B级的数据承载压力下,由于节省了大量的硬件设备和配套资源高性能计算系统是一个合适的选择.中国是人口大国,社会基础信息量极大,大量高性能计算已经应用在重要部门的海量信息融合性监管和分析系统中,随着国家信息化管理要求的不断提高,高性能计算对推动各级管理部门的信息自动化、智能化、融合化发展起着决定性作用.
二.高性能计算主要技术特点
相对于传统应用系统,高性能计算系统主要解决了：提高系统资源的利用率和加快运算节点间的交互效率.
运行在单台X86平台上的传统应用系统属于多线程串行工作模式,即系统按照标准的系统资源分配原则将任务分配到不同的物理核,将不同物理核的计算结果保存在内存或硬盘.传统环境下的应用服务器的平均资源利用率通常不超过30%.
云计算很好地解决了快速部署和硬件资源共享,可以大幅减少云平台的资源浪费,将不同节点的处理器、内存、存储等资源统一分配的网格计算技术,以及为了减少落盘次数发展起来的内存运算技术（即所有计算结果和交互数据都存放在内存中）都是为了最大限度提升系统整体效能.
并行计算是高性能计算的一种,通常我们也把运算能力较强的化服务器称为HP C（Hi g h p e r f o r m a n c ecomputer）,随着应用需求的发展,目前我们所描述的HPC（High performance computing）系统已经不单单指一台化设备,而是通过高速网络连接起来的多服务器机群和底层资源控制系统之间的完美组合.
图1显示了一标准化网状H P C系统.在网状网络拓扑中,该结构支持通过缩短网络节点之间的物理和逻辑距离来加快跨主机的通信,而控制服务器通过任务和运算服务器资源的状况进行统筹安排,先进的底层控制技术可以按照CPU时钟来分配每个物理核在不同的时间段完成指定的任务.典型H P C环境中的任务执行,有两个模型：单指令/多数据(S I M D)和多指令/多数据 (M I M D)【2】.以视听节目数据分析HPC系统为例,由于系统要进行视听节目的转码、元数据提取、拆帧、图像内容分析、语音内容分析等,但同时又需要多路视频实时并发,实际上是一个典型的MIMD系统.
对于数据运算复杂、数据总量大的系统来说,HP C因为单位资源效率的数倍甚至数十倍提高,可以大幅降低硬件投入成本、机房建设成本和维护成本,满足信息化快速发展需求.
由于对系统底层资源控制技术研究的不断深入和高速网络的发展,利用通用服务器构建H P C系统已经日趋成熟,用户可以根据信息处理需求化不同规模的H P C系统.HPC相对于巨型机来说,更加实用、部署灵活、低廉,相对于云计算来说,运算更快、空间更小、节能环保.
三.广播电视广告监管的现状
当前,电台电视台播放虚假医药广告问题比较突出,屡禁不止.这些虚假广告既损害了人民群众的切身利益,也严重影响了广播电视媒体的形象.国家新闻出版先后下发了《关于做好养生类节目制作播出工作的通知》、《关于进一步加强医疗养生类节目和医药广告播出管理的通知》等行业法规.坚持以宣传普及疾病预防、控制、治疗和养生保健等科学知识为主体内容,坚持真实、科学、权威、实用的原则,不得夸大夸张或虚假宣传、误导受众.做好医疗养生类节目和医药广告播出对于宣传国家医药卫生政策,传播医学科学知识,引导民众增强健康意识、养成健康生活方式,促进医患和谐,为健康中国创造良好氛围,培育厚田沃土,具有十分重要的意义.
一方面要求各级新闻出版广电播出机构自觉遵守、执行,落实《通知》精神,开展自查自纠、认真整改；另一方面应依据法律法规对近千套的有线电视节目实现广告节目的实现有效的监看及研判.前者是相信广播电视播出机构具有自觉性,后者是实现管理的必要监督手段.
如何利用新技术来实现对海量节目内容的排查、定位、数据统计是摆在监管面前的问题.但是由于目前监管技术手段较为单一,需要借助于新技术手段利用机器协助人工达到对已知违规内容实时发现、快速检索、快等功能,还需要借助机器学习技术能够自动发现有明显违规现象的违规广告内容.
四.高性能计算在广播电视广告监管应用研究
国内的电视节目信号有数千路,要实现在全国电视网络中做到自动、快速发现违规广告内容需要解决如下三个问题：
快速数据处理能力：电视节目数据属于非结构化数据,相对于结构化数据库,数据量比较大,满足数千路数据的实时处理需要耗费大量的系统资源,传统的多线程串行系统设计思路需要数以千计的设备才能将所有电视信号进行深度内容分析.
海量数据高速分析能力：视听节目数据在结构化之后,数据量非常大,100路数据1年的结构化数据总条目就可以达到30多亿条,在违规广告监管中如果需要大时间和地域跨度做分析,系统分析的综合效率需要大幅提升,才能满足监管业务的时效性要求.
信息标准化：数据处理、数据分析、违规节目库、违规分类分级等都需要对信息资源进行标准化管理.比如将所有违规样本和视听节目的内容属性按照统一标准进行分析,所提取的内容属性满足内容检索要求,即通过现有样本可以与实时信号流进行图像和声音的内容比对而实现对相似节目实时发现,或者可以从海量数据资源中快速筛选出与违规样本相似的历史节目数据.只有实现了信息标准化之后,监管信息系统才能明确相对稳定的技术方向,保证系统业务的持续发展.
在解决这三个问题中,高性能计算在快速数据处理和海量数据高速分析方面可以大幅提供系统性能的同时可以节省大量的硬件资源,相对较少的环境空间需求和设备需求可以加速监管业务的信息化发展.同时在日益紧迫的违规广告监管中,更容易实现大时间和地域跨度的及时监管和及时处理.
资源粒化和智能分析系统是目前国家新闻出版正在进行系统实验的一个应用平台,在该平台中很好的解决了上述问题,并提出了自动化、高融和监管设计思路,通过一次粒化、自适应分析系统总体设计,可以满足日常和突发监管业务需求.
在下述的资源粒化与智能分析平台介绍中,系统在数据加工、管理、分析、应用等不同环节,在信息高度标准化的前提下,结合行业知识充分利用信息之间的关联关系形成可被机器认知的知识化信息资源体系,从而可以承载智能分析、自主学习等智能应用系统.
五.资源粒化与智能分析平台
资源粒化与智能分析总体架构
空间资源粒化：是对空间资源的知识化属性提取过程；多源粒化适应性体系结构：是指由用户自主对各类业务资源（含信息、知识、过程等）进行知识化属性提取,并可实时、简便地进行相应调整；双空间构造技术：具体在软件系统设计、开发过程中,将硬件环境与软件结构、模型算法、控制反馈等方面进行统一的规划、集成,达到高效、低耗、自适应稳定工作的目的.
主要技术构成
列式数据库：是大数据平台中结构化/元数据管理的基础部件；文字智能引擎：针对多语言文字内容,基于信息论、概率论的数学模型,提供各种处理、分析、关联、聚类等功能；视频智能引擎：针对帧图像中颜色、纹理和形状等特征建立其高维度空间的数学模型,实现镜头、关键帧、视频摘 要、帧图像索引、相似查询与分析；音频智能引擎：针对音频信号,基于多种数学模型与方法,提供编解码、语种识别、声纹识别、语音识别（语音转文字）、音频短语识别等功能；流式数据处理引擎：将内存处理、事务、历史数据与流式分析相结合,对临界点进行实时计算,达到每秒百万条信息量的分析效率,处理迟延毫秒级；超算结构：基于x86聚合技术架构,支持向量计算X和多处理器并行计算.
资源粒化集群和智能分析集群都采用了高性能运算集群架构,系统将实时流经过转码、分镜头和拆帧等数据归一化处理后,还要做元数据属性和传播属性提取、图像内容分析及属性提取、声音内容分析及属性提取、语音转文字等工作并将结果数据入库.因为采用了HPC集群架构,系统可以将任务分配到不同系统单元的时间窗口上,从数据流进入到产生结果数据之前始终不落盘,并且每个计算资源都按照计算任务的复杂程度安排了合理的时间窗,从而保证计算资源最大化利用,数倍以上的提升了系统的综合效率.
在图3所示的硬件环境下,具有以下功能：100路节目转码、镜头分拆、关键帧、图像内容结构化、元数据提取、语音转文字等属性提取并实时入库.其中镜头及关键帧提取能够实时提取100路镜头及关键帧；语音转文字能够对100路节目实时进行中、英文语音转文字,新闻类节目准确率90%以上.
通过对原始视频的资源粒化处理,形成以元数据、关键帧、图像特征属性（台标、人物、物品、场景、标识、纹理、字幕等）、声音属性（声纹、语音、语种、语音转文字）、关键字等构成的结构化数据,通过系统学习在列式数据库中形成特定的关联性数据,即知识型数据引擎,在分析层中可以通过任意属性组合快速、准确定位原始视频文件.
在违规广告监管业务中,我们可以通过关键字、图像特征和声纹快速找到相似的广告信息,在以广告片断为样本的检索实验中,违规节目的筛选和拦截率甚至可以接近100%.以目前比较经常出现的虚假广告为例,一些虚假广告主采取多种手段躲避广播电视监管,先是以节目形式播出广告,从节目包装、节目名称到节目形式都是一部专题片,比如：某卫视播出的《走进科学之解读白癜风》和《走进科学之解密甲状腺》,实际播出的是违规医疗广告,一旦被国家新闻出版叫停后,它会在地方有线频道播出.在实验中,我们将违规视频放入违规样本库,系统对34家上星卫视节目进行布控,看看在此广告被叫停后是否还有别的频道播出此广告.系统能够准确找到同样节目在个别台播出,同样,我们也可以按照“白癜风”、“甲状腺”、“王克珍”等关键字检索是否还有类似内容播出.
通过实验,我们发现利用资源粒化和智能分析系统,在违规广告监管中系统可以提供如下手段实现违规广告监管：
（1）将违规广告作为样本,在电视节目流上进行实时拦截,时效性为秒级,相同节目内容拦截率100%,可以进行多样本同时拦截.
（2）按照特定的违规广告样本,在历史节目中进行查询,根据资源库的大小,效率从十几秒到数分钟不等,相同节目内容准确率接近100%.
（3）根据违规广告特点,通过机器学习将声纹、人像和关键字等进行相似节目检索和拦截,系统根据内容相近程度提供结果,人工甄别后可确定新的违规样本,维护进样本库后可按照第1种方式自动拦截,提高准确率.
六.结束语
随着新一代信息技术在各行各业的大量应用,面对海量内容数据,智能、高效的信息化技术手段应用在广告监管业务上是必然趋势,为了保证系统资源被最大限度利用,在数据集中处理和分析系统中应用超算架构搭建数据中心是非常适合的.随着技术发展,超算架构可以采用通用X86平台实现数倍甚至数十倍性能的提升,建设和维护成本大幅下降,已经成为新信息化应用系统核心.
国家新闻出版监管业务对新型内容监管系统的需求越来越迫切,就广告监管业务来说,搭建新型广告监管系统需要大量的运算资源,而超算架构可以利用成熟技术,减少机房面积和环境资源,能够及早实现更大规模、更智能、自动化更高的全国广告及其它视听节目内容监管体系.
广播电视论文参考资料：
本文点评：该文是一篇关于广播电视广告和应用研究和监管方面的广播电视论文题目、论文提纲、广播电视论文开题报告、文献综述、参考文献的相关大学硕士和本科毕业论文。
