原创《异构数据环境下电信数据稽核模型和设计》
该文是有关数据毕业论文范文跟稽核和异构数据环境和模型有关论文例文。
【摘 要】 随着通信业的快速发展,用户规模和业务种类突增,如何避免收入流失保障生产运营安全成为各大运营商的重要工作.通过对日常生产数据进行稽核,发现异常点,以达到预防收入流失的目的[1].本文提出一种三层稽核数据模型设计,规范稽核处理的流程,增强数据的共享和开放能力,提升稽核效率.
【关键字】 数据稽核 稽核模型 收入保障
一、引言
随着流量时代的到来,电信运营商业务日趋复杂、数量突增、版本升级频繁,导致生产运营存在安全隐患和收入流失风险[2].电子商务和在线支付等产业的快速发展,也带来了电信诈骗、国际盗打和恶意骚扰等新型违法行为,技术手段和非法数据也更加隐蔽和难以发觉.
运营商在日常运维过程中加强了对生产数据的稽核,采用大数据和新技术更替传统稽核手段,改进稽核体系防止跑、冒、滴、漏.一方面通过纠察自身生产数据,确保生产规范性和准确性,及时发现隐患；另一方面进行大数据稽核分析和全流程监控,发现疑似异常业务点进行告警,预防收入流失.最终达到堵住漏洞,挽回收入、减少投诉、节约成本、提升服务质量、增强企业竞争力的目标.
二、Storm 调度策略
2.1 目前数据稽核现状
数据稽核的理论基础是“一处数据,两处体现” [3],每个数据总能在另外一个地方找到它的对等实体,这个对等实体可以是另外一个数据,也可以是另外几个数据组成的函数表达式.数据与它的对等实体间存在相等的关系,这种关系体现在系统的数据处理逻辑.
国内基础运营商已经对敏感业务或关键流程数据建设了专门的数据稽核平台或收入保障系统,由业务专家制定稽核点和稽核逻辑,基于生产数据库运行核查脚本进行稽核处理.随着技术革新,运营商也逐步采用一些Storm、Spark 、Hadoop 和Hive 等大数据处理框架,提升了稽核效率,缩短了延迟时间.
2.2 稽核工作存在的问题
稽核涉及的业务广泛、规则复杂,在现有的系统建设中往往是分模块划分的,难以做到统一协调,输出的模式也不尽相同,很难做到统一的展示和监控.对数据的加工没有通用的模型,使基础稽核要素不具备规范性和共享性,不同的稽核点间数据难以复用,建设中可能重复的设计或运算某一单元,效率较低,维护成本加大.
通过对稽核点进行三层建模,实现了对稽核点的统一模型表示.先进行基础逻辑的处理,形成具有领域通用性的基础稽核因子,再在其基础上进行判定形成分量指标,最终的稽核结果可以通过灵活的配置各分量指标组成,从而实现了稽核处理的灵活、规范、共享和可评价.
三、稽核业务分析及建模
3.1 稽核点模型分析
日常稽核往往采用不同的方式进行处理,同时还由于系统差异,数据会保存在于文件、内存、数据库或其他系统中,导致稽核难度较大.对稽核点应该进行统一模型的规整,去屏蔽底层数据的格式和存储的异构.把有效的稽核数据信息进行提取,再进行进一步的推理和判定.稽核点涉及到跨流程、跨模块的,应该对基础的提取信息进行特征打标,做到数据共享,避免不同模块稽核时重复性的去提取信息.
对稽核点进行判定时,从不同的业务规则角度会有不同的结果,应区分主要异常和次要异常,不同的异常点对稽核点的影响度是不同的,根据异常点情况获得稽核点的结果才能更准确的反映出稽核情况.
3.2 稽核点模型设计
本文通过三层模型设计对稽核点进行一体化建模.根据现有生产稽核特点,从状态上划分为有状态、无状态,从处理层面划分为展示层、断言层和转换层,不同层次由不同的稽核模块进行处理.
图1 典型稽核点模型
1. 因子是对基础稽核数据按照一定的业务逻辑进行转换形成的一类标准规范的数据集.在数据集中一个实例因子具有多个特征值标签（如：省分、产品等）和一个确定的因子值.一类数据集在模型中表示为一个因子定义,在稽核点中可以包含一个或多个因子定义,它们分别通过不同的业务逻辑加工出来的.
2. 指标是通过一系列因子代入稽核判定规则进行运算得到的,运算结果具有正常或异常状态.由于不同的因子存在多个特征值,在运算中会保留最小的公有特征值,对其他特征进行合并消除,最终形成具有特征值和状态结果的指标数据 集.同时每个指标拥有影响度权重属性,同一指标数据集中的单个指标实例将平均分配到该指标的影响度权重.
3. 稽核点结果是对指标数据集根据一定的策略进行计算,形成最终的结果数据.为了更好体现稽核效果,在归并计算中通过对正常指标的权重累加得到稽核分数来评估稽核点的整体结果.在系统展示时,不但能看到量化的稽核结果还可以对相关指标分量进行查看和分析.
3.3 数据共享
图2 共享稽核点模型
稽核人员可能会从不同的角度去关注一个业务稽核点,要求的指标也不尽相同,为了满足不同的个性化需求,可以通过稽核结果- 指标的关系配置实现不同稽核点间指标的交叉共用.同样因子只具有数据属性,也可以直接被多个稽核指标所引用,做到开箱即用,从而演变出共享稽核点模型.如图2,指标2 和因子3 分别被共享使用,一次计算后得到数据就可以被其他稽核点复用,降低重复计算量.同时因子和指标被多次引用,也可以从不同的稽核角度去验证因子和指标的准确性,修正处理逻辑不严谨带来的数据偏差问题,提升稽核质量,使稽核结果更加公正和客观.
四、结束语
稽核人员需要较高的业务知识和技术水平,随着大数据技术的发展,传统的单业务点稽核方式正向跨模块、全流程的方向转化.本文设计的稽核模型实现了对不同业务稽核点数据一体化规整和表示,更加便捷的对稽核信息进行多维度多粒度的分析,提升稽核的跨领域能力和开放共享能力.后续将进一步丰富对稽核指标的断言判定方式,结合大机器学习算法进一步评估挽回收入,体现稽核价值.
数据论文参考资料：
括而言之:上文是一篇大学硕士与数据本科数据毕业论文开题报告范文和相关优秀学术职称论文参考文献资料，关于免费教你怎么写稽核和异构数据环境和模型方面论文范文。
