机业数据商业化应案例分享 · 2018. 9. 13. ·...
TRANSCRIPT
全国最大的数字营销全案咨询服务提供商 �
⼿手机⾏行业数据商业化应⽤用案例分享 杭 州 泰 一 指 尚 科 技 有 限 公 司 �
主讲人:封雷 � 数据商业化事业部高级产品总监 � 联系电话:189-0581-8753
全国最大的数字营销全案咨询服务提供商 �
-所⻅见即所得-
全国最大的数字营销全案咨询服务提供商 �
得天独厚的背景优势,稳步前进的发展历程
2005年 泰一百年公司创立
经过多年技术沉淀、经验积累及数据大集中业务的开展,逐步形成大数据技术雏形
2011年
推出SNS+社交网络营销服务及移动互联网手指客营销平
台 �
2014年
在大数据基础下,更大规模整合并接入各终端优质资源,提出
大视频,大移动战略
2013年 全面整合三网四屏,打造AdMatrix跨网多屏互动营销平台,进军互动电视
领域 �
2009年 与多家媒体达成战略合作,提供流量牵引服务,打造CCM互联网营销
平台 �
2010年 推出商业舆情服务,XAD视频植入技术产
品化 � �
2007年 为运营商提供数据增值
服务 �
2006年 为运营商提供IT运维服务 �
2008年 为政府相关部门做技术支撑 �
2012年 启用新品牌——
AdTime, � 开启大数据营销时代 �
�
全国最大的数字营销全案咨询服务提供商 �
硅谷新技术孵化器 �
联合实验室 �
北京研发中心 �
杭州研发总部 �
四大核心技术团队
技术核心研发团队、地方级博士后工作站、创新研究院
广告业务运营团队、移动互联研发团队、大数据产业联盟
与中国科学院、国内各大院校、OpenWebGlobe联合创办
将最前沿的技术引入国内,帮助完成大数据跨屏等多项研究
全球七大办公机构
p 杭州 � p 北京 � p 上海 � p 广州 � p 合肥 � p 成都 � p 新加坡
来自不同专业背景的高素质人才,群策群力,将泰一指尚打造成一流大数据营销服务机构 �
四百名专业人才
全国最大的数字营销全案咨询服务提供商 �
泰一指尚所获荣誉 �
全国最大的数字营销全案咨询服务提供商 �
客户见证(部分) �
全国最大的数字营销全案咨询服务提供商 �
整体解决方案 �
全国最大的数字营销全案咨询服务提供商 �
客户需求定位 �
某手机厂家 � 大数据战略 �
销售提升 �
受众满意度 � 抽丝剥茧 �
决策抓手 �
受众观点提炼; �
意见领袖捕获; �
传播路径分析; �
危机预警机制建立; �
危机公关策略; �
产品质量问题提取识别; �
前沿新技术捕获:发展趋势、供应商
分析、用户意见反馈; �
完善用户画像,丰富标签; �
营销效果评估;广告投放效果评估; �
锁定潜在受众,精准营销 �
借助大数据分析、舆情分析等能力,知己知彼、洞悉受众,成为某公司手机业务强有力抓手。 �
全国最大的数字营销全案咨询服务提供商 �
Data Exchange源数据采集系统 �
平台整体架构 �
泰一数据 � � 网络爬虫 � 客户数据 � …更多 �
Hadoop数据存储层 � FastDFSSOLRSPARK
数据源 �
黑名单过滤 白名单识别 数据清洗 智能合并
智能分词全文检索 �
应用模型层 � 用户域 品牌域 专题域
� �
前沿技术捕获
问题识别 影响分析 � �
危机分析 预警机制 � � 潜在受众引流
营销效果 传播效果辅助管控 �
调度控制 �
统一监控 �
安全管理 �
集群管理 �
产品质量专项 � 服务质量专项 � 产品销售专项 �
接口管理 �
挖掘域媒体域
元数据管理 �
数据解析层 � 竞品识别
事件分析 公关策略
情感运算 � 内容识别 � 热词发现 �
全国最大的数字营销全案咨询服务提供商 �
数据准备篇 �
全国最大的数字营销全案咨询服务提供商 �
本章节所需技术-大数据管理平台 �
01 Add your texts here 01 02
03 04
超海量数据管理平台 日处理数据量200亿条记录, 每小时数据处理时间20分钟
ETL调度平台 统一监控平台
元数据管理平台 可视化分析平台
安全管理平台 集群管理平台
全国最大的数字营销全案咨询服务提供商 �
本章节所需技术-智能网络爬虫系统 �
网络爬虫 �
新闻 �
论坛 � 微博 � 微信公众号 �
贴吧 �
电子报 �
广告爬虫 � 综合门户 �
垂直媒体 �
SolrCloud �
FASTHDFS �
归类
分词
存储
图像加工
信息源
网络爬虫技术
指定范围 定时触发
广告爬虫技术
页面内容数据
广告素材及信息
文件存放
索引建立
音频爬虫 � 电视媒体 � 广播媒体 �
音频识别
音频爬虫技术
大数据爬虫 �
全国最大的数字营销全案咨询服务提供商 �
信 �
息 �
微博 �
博客 �
贴吧 �
新闻站 �
社区 � 论坛 �
微信 � 电子报 �
电商 �
百万有效信源
便捷的可视化添加模块
每天爬虫覆盖80万列表页,处理180万舆情量。 �
覆盖面保障
断点续爬能力
IP轮询处理模块
邮件自动订阅式漏爬反补模式
运营商管道中用户行为数据反识别能力
新浪微博、京东全面合作 �
完整性保障
7*24小时运行机制 �
从爬虫到展现只需5分钟
时效性保障
智能爬虫实际运行效果 �
全国最大的数字营销全案咨询服务提供商 �
示例:海外信息爬虫策略 �
开源托管组织 �
新闻媒体 �
社区媒体 �
按规则新闻收集数据
按目标收集作者信息
按目标定期更新项目信息
全文检索库 �
网络爬虫 �
新闻爬虫 �
社区爬虫 �
开源项目爬虫 �
数据汇总入库
系统配置库 �
数据分析库 � 本品 � 友商 �
技术 � 开源项目 � �
新闻 � 作者 �
客户 �
可视化平台
全国最大的数字营销全案咨询服务提供商 �
数据解析篇 �
全国最大的数字营销全案咨询服务提供商 �
借助全文解析、文本挖掘、智能分词、热词发现、音频识别、视频识别、人脸识别等技术手段,有效将数据转换为可利用信息。 �
内容解析能力 �
全文解析 �
智能分词 �
热词发现 � 音频识别 �
视频识别 �
人脸识别 �
全国最大的数字营销全案咨询服务提供商 �
文本挖掘技术 �
归一化 � 输入文本分块 �
简单命名实体识别 �
� 人名识别 �
� 分词 � 机构名识
别 �
分词结果填充 � 反归一化 � 词性标注 �
分词结果合并语义单元 �
分词结果添加属性 �
分词结果纠错处理 �
文本过滤 � 文本排重 �
Hadoop大数据量分布式分词处理与计算
文本分类 � 文本匹配 � 频繁词挖掘 �
自有文本分词及文本挖掘工具(每秒分词400万字左右,准确率达到96%以上)
全国最大的数字营销全案咨询服务提供商 �
智能分词技术 �
机构名识别 �
技术名识别 �
词性识别 �
人名识别 � 中文分词
l 采用中、英分词进行原子级切分; �
l 积累有核心词库386万+;行业特有词库(品牌
产品名称)5万+;此外还有歧义词库,人名机构
名识别等词库; �
l 分词性能达到每秒400万字,支持无限扩容; �
l 分词准确率达95%左右 �
全国最大的数字营销全案咨询服务提供商 �
产品归类 �
2
1
3
我们的积累 �
l 我们收录了手机行业共计200款市场上流通的智
能手机; �
l 针对新增产品,可采用
新词、热词发现模块、
远程同步、可视化录入
三种方式不断完善 �
l 每秒1万+条处理
速度 �
产品归类算法逻辑 �
l 针对电商网站的评论信息,产品信息可直接配
置获得; �
l 针对网页信息,通过分
词后匹配关键词获得 �
l 主要用到决策树等相关算法 �
为什么要产品归类 � 明确舆情的主体对象 �
文本分类技术 �
全国最大的数字营销全案咨询服务提供商 �
情感算法技术 �
情感 �
l URL等无效信息过滤 � l 微博@等信息过滤 � l 特殊符号过滤 � l 图片信息过滤 �
无效字符处理 �
• 区分长文本和短文本 � • 短句切分 � • 分类情感向量计算 � • 正负判断阈值定义 � • 每秒钟处理200万字,支持无限扩容 �
情感算法制定 � • 基础情感词库:1W+ � • 行业特定情感词库:1000+ �
• 此外还有转折词库、程度词库、疑问词库 �
• 情感词情感值标注 �
词库建立积累 �
全国最大的数字营销全案咨询服务提供商 �
聚类观点提取 � { "title": "物流很快,店家服务态度也好,手机看着也不错" }, { "title": "商品:用了几天来评价的,手机是正品,8核就是快。快递也给力。下次我还会来的。O(∩_∩)O~5分" }, { "title": "好评收货当天追加:手机包装很好!物流速度很快!是行货正品!!值得信赖!!!商品:手机是正品,到货速度比想象中要慢点,全5星|好评服务:服务态度蛮好。" }, { "title": "呵呵呵,昨天下单,今天上午就收到了,跟京东一样快了哈,不错,马云的平台还是可以,手机呢今天感觉还可以" }, { "title": "第二次购买 � 很不错的手机" }, { "title": "手机昨晚十点付的尾款,今早上十点就拿到手机了,还不错" }, { "title": "手机是正品,很不错,物流也很快很好的卖家还会来的" }, { "title": "各位亲们,手机不错" }, { "title": "手机还行:-D!不过荣耀6plus可以抢了!有点儿小遗憾!" }, { "title": "手机不错,全新|未拆封。发货到货都很快。手机也很满意。屏大,这个价位来看做工|性能都还不错。送了一些赠品,都还蛮实用的" } �
SETP1:主体特征识别: �
SETP2:离散 � 物流|快、服务态度|好、看着|不错、8核|快、快递|给力、手机|正品、服务|好评、感觉|可以、手机|不错、手机|全新、发货|快 �
收货速度|快、口碑|正品、服务|好、外观|全新、性能|快 �
SETP2:聚类 �
全国最大的数字营销全案咨询服务提供商 �
数据商业化实战应用篇 �
全国最大的数字营销全案咨询服务提供商 �
从用户分析看出去 �
用户 在哪儿 �
用户分析 �
新用户引流 �
老用户挽留 �
媒体渠道分析 �
用户 想什么 �
用户诉求分析 �
产品、服务质量提升 �
全国最大的数字营销全案咨询服务提供商 �
助力产品销售提升流程示例-用户分析 � 场景和需求定位 �
挖掘技术 �
用户画像 �
行为特征模型 � 偏好特征模型 � + �
购买意图 �
品牌倾向 �
关注重点 �
针对性营销、精准广告、用户引流 �
全国最大的数字营销全案咨询服务提供商 �
助力产品质量迭代提升流程示例 �
媒体锁定 �
信息收集
技术实现 � 曲面屏 � � X �
续航长 � � √ �
10分钟完成充电 �
质量问题分析 �
新技术趋势 �
新技术供应商 �
新技术用户反馈 �
质量提升 �
新技术研发 �
质量、服务协同派单 �
效果跟踪 �
全国最大的数字营销全案咨询服务提供商 �
问题定性(自身问题、恶意攻击、流程问题…) � 传播路径,扩散程度 � 意见领袖 � 舆情指数、破坏力预测 �
助力客户满意度提升流程示例 �
技术实现 �
信息收集
用户上网行为 �
案例小结,效果跟踪 � 三级预警机制启动 �
危机公关策略提供 �
受众维系挽留 �
全国最大的数字营销全案咨询服务提供商 �
从舆情监测看出去 �
正负面 �
舆情监测 �
意见领袖 �
舆情指数 �
正面口碑,强化印象 �
热点发现 �
营销支持 �
宣传推广 �
危机冲淡 �
负面预警,推送地址处理 �
每日态势掌握 �
严重程度&扩散程度分析 迅速判断情况 �
竞品动作,及时跟进 �
产品问题,及时回复 � 口碑分析 �
全国最大的数字营销全案咨询服务提供商 �
预警级别 � 网站级别 � 负面级别 � 预警形式 � 响应时间 �
三级预警 � 地方网站、地方垂直网站 � 一般负面 � 邮件 � 快速 �
二级预警 � 重要门户、行业网站 � 中等负面 � 桌面弹窗+邮件 � 迅速 �
一级预警 � � 重点关注网站(行业) � 重大负面 � 电话+邮件 � 及时 �
预警 �
ü 邮件预警 �
ü 手机电话预警 �
ü 桌面弹窗 �
三级预警机制执行策略 �
全国最大的数字营销全案咨询服务提供商 �
内容识别-技术趋势识别算法 �
技术相关词库 � 目标监控网站 �
相关数据 � 其他评论数据 �
趋势分析 � 关键词关联分析 �
作者定位 � 企业定位 �
行业主流技术 �
行业技术专家团队 �
数据过滤 �
黑名单 � 白名单 �
热词发现 � 趋势异常定位 �
人工校验 �
全国最大的数字营销全案咨询服务提供商 �
从经营策略看出去 �
广告监测 �
投放 支持 �
策划 支持 �
投放监测,还原广告排期 �
竞品投放策略分析 �
行业案例学习 �
投放效果评估,帮助调整精准投放策略 �
内容类产品传播效果评估,辅助营销活动策划 �
全国最大的数字营销全案咨询服务提供商 �
营销、传播策略分析示例 �
广告内容合并 � �
不同媒体 � 同样内容
广告主题归纳 � �
不同内容 � 同一活动
判断广告内容
内容识别 代言人识别
投放排期监测 (证据文件存档) �
投放效果评估
广告渠道分析
创意库
全国最大的数字营销全案咨询服务提供商 �
Thank U � 让我们用专业的大数据应用能力,和品牌客户一起,发现并创造数据价值 �
主讲人:封雷 � 数据商业化事业部高级产品总监 � 联系电话:189-0581-8753