网站开发兼职,长沙企业网站建设企业,wordpress documentation,天津营销型网站建设公司背景 Think Better 很多行业都在“卷”#xff0c;作为金融科技行业的信也#xff0c;也不例外。除了卷云计算、大数据和人工智能这些非常有深度的技术以外#xff0c;信也向着技术融合创新的方向逐步探索#xff0c;做得更好一些#xff0c;为用户提供更好的价值#xf… 背景 Think Better 很多行业都在“卷”作为金融科技行业的信也也不例外。除了卷云计算、大数据和人工智能这些非常有深度的技术以外信也向着技术融合创新的方向逐步探索做得更好一些为用户提供更好的价值才是卷的目的。 起因 在金融科技行业的业务场景中有一个比较常见的业务就是”授信“例如给用户提高额度那么就需要用户提交一些资料来证明其还款能力以提高授信额度。常见有的提交车辆信息、税务记录、工资卡流水记录或学历认证等等。一般在产品功能设计中给用户提供上传截图的功能获取相应的资料再通过风控系统与业务系统的核验以满足业务流程的需 要。某些业务场景在对反欺诈诉求要求比较高的情况下人工介入审核资料也是比较普遍的做法但实际上这是一个“斗智斗勇”的过程因为收集到的资料很有可能是不是用户本人或是 PS 过的很难保证真实性。在传统的业务模式中风控系统的成本很高上传多张截图并进行后续识别认证用户体验也不是太好。 一个思考就来了怎么能够降低风控成本提升用户体验 仔细想来前面说的过程实际上就是一个“静态”的资料提交审核过程。这种“静态”的过程是个黑盒一是无法得知用户获取资料的过程信息二是资料获取后难以进行违规操作的检测避免造假。 如果整个过程中有“一个人”在指导用户操作并且全程检测呢 用一个“程序”去看直播 将静态过程转变为动态过程 前面提到的老流程是黑盒难以实时风控策略如果设计一套系统让程序像一个人一样从一开始就介入指导着用户 现场操作并全程录制并检测违规操作那么就可以大大提高用户体验增强反欺诈能力。思考这个程序的功能可以得出其须有识别和录制的功能 用户操作的整个过程可以使用屏幕直播推流的技术让这个程序从一开就看到用户的屏幕并记录整个过程程序可以通过语音告诉用户应该如何操作跳转到哪个网页或者打开哪个 App当用户达到指定的页面的时候程序则可以将业务系统需要的信息截取保存下来这个程序必须聪明点儿它看着直播还得能看懂直播必须能仔细观察看到哪些行为是违规的理解力则依赖图像识别技术 直播的选型与实践 主流直播的技术方向有两个 RTMPCDNRTCSD-RTN 特点 RTC RTMP 用途 实时通信如实时音视频通话、实时消息传递 实时媒体流传输如直播、点播 特点 RTC RTMP 传输方式 使用 UDPUser Datagram Protocol传输 使用 TCPTransmission Control Protocol传输 延迟 低延迟通常在数百毫秒以下 相对较高的延迟通常在数秒钟左右 适用场景 实时互动应用如视频会议、在线游戏 直播平台、视频点播平台 编码支持 支持多种音视频编码格式如 VP8、H.264、Opus 等 支持多种音视频编码格式如 H.264、AAC 等 扩展性 支持扩展性较强可以通过插件或自定义开发功能 部分支持扩展性但相对较为有限 安全性 支持端到端的加密和安全传输 支持基本的加密功能但安全性较低 设备兼容性 兼容性较好支持在不同设备和平台上使用 兼容性较好但在某些设备和平台上可能存在兼容性问题 开发成本 相对较高的开发成本需要处理实时音视频传输的复杂性 相对较低的开发成本易于集成和使用 实时性 较高的实时性适用于对实时性要求较高的场景 相对较高的实时性但在网络条件不理想时可能出现缓冲和延迟 选型一般要考虑使用场景直播的场景一般为一个主播推流上万人观看但我们这个场景稍微不同是一个程序在 “看”没有其他观众并且对实时性要求较高所以 RTC 是首选。 一个 RTC 的数据包数据格式如下 RTC 在移动网络下最大的挑战是弱网或断网下的稳定性表现发生卡顿和中断会影响用户体验。解决这类问题业内一般使用多链路传输技术例如苹果的 MPTCP(Multi-Path TCP) 在手机网络切换 Wifi 和蜂窝网络或网络网络丢包较高的情况发生时多链路的使用可以大大增强稳定性。但这种技术也带来了高功耗和高流量。那么使用 弱网冗余传输 来就可以优化这种情况即在 RTC 检测到弱网环境下才开启双链路的传输。 另外还需要使用 FFMPEG 来当做看的“眼睛”。但很遗憾FFMPEG 并不支持直接对 RTC 视频流的读取那么就必须将 RTC 转换为 RTMP 协议因为 RTMP 在大规模观看的时候需要启用 CDN 网络来进行分发而 RTC 转 RTMP 在服务端侧完成内网转发则避免了这个问题FFMPEG 在使用的过程中类似于如下命令: ffmpeg -i rtmp://boliu.koofenqi.com/koo-tuiliu-test/testneo?auth_key1684307737-0-0- 52941de184ba86a371f8fd36d030b723 -vframes 1 -r 1 -q:v 2 拿到视频流信息则可以交给识别部分来让程序理解当前屏幕上的内容。这部分的流程如下图 识别技术的实践 当源源不断得到屏幕的视频画面的时候如何识别当前的画面是目标页面或者是存在违规行为的画面那么有两种实现思路 OCR 图像转换为文本使用正则表达式来达到检测目标文本特征或异常文本特征利用特征提取技术识别图像中是否存在目标元素特征 OCR 技术有一个问题即页面较为复杂的时候文本转换时间不可控不太满足实时性的要求。那么利用体征提取技术 则可以避免此类问题的发生。 在此种图像识别技术方案下一般分为如下子任务 aImage Classification 图像分类用于识别画面中元素的类别如bottle、cup、cubebObject Localization 目标检测用于检测图像中每个元素的类别并准确标出它们的位置。© Semantic Segmentation 图像语义分割用于标出图像中每个像素点所属的类别属于同一类别的像素点用一个颜色标识。(d) Instance Segmentation 实例分割值得注意的是b中的目标检测任务只需要标注出物体位置而d 中的实例分割任务不仅要标注出物体位置还需要标注出物体的外形轮廓。 当预设目标页面的元素出现则可将图像的语义转换为置信度、风险度等结果输出给程序进行业务判定。 这个“程序”有点普通但也有点意思 一个流程引擎支援业务流程的执行 这个程序像一个引导用户做流程的业务员一样那么它具备以下功能 熟悉各种业务流程按照业务流程的规定进行业务流程的执行一直维持着与客户端的通讯指挥客户端、直播服务、图像识别服务、反欺诈服务进行协调工作 那么这个程序实际上就是一个流程引擎在整个流程引擎的架构设计中需要考虑如下几个方面 长连接性能指标例如吞吐(Thoughput) 1000Latency 100msConcurrent 500Error Rate 1%保证安全性websocket 握手令牌校验消息体二进制编码流程适配性强业务节点配置化客户端预置指令模块化全程做到实时监控websocket 通讯监控流程执行监控客户端异常监控服务异常监控客户端兼容性达标iOS/Android/HarmonyOS 兼容覆盖主流机型兼容覆盖各种网络异常兼容覆盖稳定性强业务单元执行异常恢复网络通讯异常恢复客户端与服务端的系统异常恢复 整个流程引擎的架构设计如下 在前面流程引擎维持与客户端的通讯使用 websocket 长连接服务。一个典型的长连接服务如下图 在安全性方面使用令牌技术在 websocket 连接发起的时候检测令牌是否有效避免非法客户端的连接并且数据传输防止信息泄露通讯的数据包使用二进制流那么在编码方面选用 protocolbuf来实现客户端与服务端的传输数据的序列化和反序列化。 多技术的融合应用达到的效果
一套 WebSokcet/RTC/FFMEPG/ImageRecognition 的技术组合
将这些技术进行融合以后例如需要用户通过自己的机动车信息来提升额度的话就可以这样完成
用户手机通过 websocket 连接上服务端流程引擎启动指引客户端发起屏幕 RTC 推流根据业务流程配置使用 FFMPEG 处理屏幕视频画面图像识别服务将画面进行标定与检测确认业务信息的截取服务端对整个视频画面进行录制保存流程引擎时时刻刻执行反欺诈策略检测用户操作是否存在违规和欺诈行为
当这样一个融合多种技术方案的探索落地以后便诞生了可以满足各个业务场景使用的 _ 推流认证平台 _。
目前* 推流认证平台 *正服务于一些对风险要求较高的流程中该平台可以让用户不再手动操作繁琐的流程只需要听着语音点一点平台将自动获取资料完成后续流程。
这样的多技术融合的探索是一种有意思也有相当业务价值的尝试
探索的脚步永不停歇
未来将会有更多有意思有价值的探索持续进行创新的源泉来自热衷思考敢实践不怕失败的解决各种问题。展望未来后期还有更多可以持续优化创新的地方
业务流程引擎使用 webassembly 技术形成安全的二进制程序结合边缘网络(Edge Network)实现离线的流程执行图像识别采用卷积神经网络训练更优秀的识别模型为风险识别提供更多的基础能力使用移动端的机器学习技术利用手机本身的 AI 算力加载图像识别模型进一步缩短业务流程时间
