giải pháp social listening

Social Box v3Giải pháp tổng thể thu thập và phân tích thông tin Mạng Xã Hội

www.1data.co

What is Social Box v3 ?

Social Box v3 là Giải pháp Lắng nghe mạng xã hội từ 1DATA

(1data.vn). Chúng tôi cung cấp Giải pháp tổng thể thu thập và

phân tích dữ liệu từ Mạng Xã Hội.

Chúng tôi có > 3 năm kinh nghiệm trong lĩnh vực xử lý dữ liệu

lớn, với các khách hàng: Quân Đội, Nông nghiệp.

Social Box v3

Website Monitoring- Giải bài toán thu thập thông tin từ Website.

- Cảnh báo theo từ khóa và thông tin nhạy cảm.

Facebook Monitoring v1- Thu thập dữ liệu từ 10.000+ Facebook Account.

- Cảnh báo theo từ khóa và thông tin nhậy cảm.

Facebook Monitoring v2- Thu thập dữ liệu từ Facebook theo chiến thuật và thu

thập dữ liệu thông minh (Strategy + Automation).

- Ứng dụng Học máy trong phân tích dữ liệu.

- Chuyển đổi sang mô hình Framework.

Social Box v3- Dễ dàng mở rộng nền tảng Twitter, Instagram,

LinkedIn....

- Lưu trữ dữ liệu trên cơ sở tri thức WikiBase.

- Tăng cường thêm thuật toán học máy trong phân

tích dữ liệu.

2014

2015

2016

2017

Why Social Listening

is Important ?

Nguồn: WeAreSocial và Tinhte.vn

SOCIAL BOX v3

PLATFORM

Crawler Analysis Toolkit Application

1DATA Platform

DATA

Dynamic CrawlerHệ thống thu thập dữ liệu thông minh từ Facebook và Website.

Dữ liệu thu thập được lưu trữ dưới dạng Big Data, hỗ trợ phân tích dữ liệu tốc độ cao.

Dynamic Crawler Platform

HỖ TRỢ FACEBOOK & WEBSITE

Chúng tôi xây dựng hệ thống Crawler thông

minh, có khả năng vượt qua rào cản của

Facebook và các mạng xã hội khác.

Nền tảng này sẵn sàng thu thập dữ liệu từ

Instagram, Twitter, LinkedIn, Youtube,

Google+


THU THẬP THEO CHIẾN THUẬT

Cấu hình Crawler thực hiện thu thập dữ liệu

theo chiến thuật được định nghĩa theo yêu cầu.

Ví dụ: thu thập thông tin tất cả các thành viên

của một nhóm trên Facebook, thu thập thông

tin của từng thành viên, theo dõi hoạt động.


FACEBOOK AUTOMATION KIT

Crawler được thiết kế hoạt động giống như

người thật.

- Post bài tự động.

- Comment tự động.

- Tương tác tự động.

- Chat tự động.


01Đơn giảnChỉ vài thao tác cấu hình đơn giản

02Đa dạngMở rộng cho nhiều nguồn

03 Nhanh chóngTác vụ chạy song song

04Chính xácTập trung vào thông tin cần lấy

Analysis ToolkitTập hợp rất nhiều các công cụ, thư viện cho phép dễ dàng phát triển các ứng dụng phân tích dữ liệu theo yêu cầu của khách hàng.

Analysis Toolkit

PHÂN TÍCH CẢM XÚC

Analysis Toolkit

BÀI VIẾT QUAN TRỌNG

- Phát hiện những bài Viết được quan tâm

nhất trên mạng xã hội.

- Phát hiện mức độ quan tâm theo chủ

đề/sự kiện.

Analysis Toolkit

NHÂN VẬT QUAN TRỌNG

- Phát hiện những người có ảnh hưởng trên

mạng xã hội.

- Phát hiện mức độ ảnh hưởng theo chủ

đề/sự kiện/lĩnh vực.

Analysis Toolkit

PHÂN TÍCH MỐI QUAN HỆ XÃ HỘI

- Lưu trữ mối quan hệ xã hội.

- Phát hiện, tìm kiếm, xác định các mối

quan hệ xã hội.

Analysis Toolkit

LẬP HỒ SƠ THÔNG TIN CÁ NHÂN

- Xác định các thông tin cá nhân: tên

Tuổi, điện thoại, địa chỉ, lịch sử hoạt động.

Analysis Toolkit

XÂY DỰNG CƠ SỞ TRI THỨC

- Biểu diễn dữ liệu theo cấu trúc ontology mà Google đã xây dựng.

- Sử dụng trong bài toán phân tích ngữ nghĩa, phân tích cảm xúc.

ApplicationỨng dụng sẽ được phát triển theo yêu cầu của khách hàng.

Dữ liệu phân tích được lấy từ Storage và Cơ sở tri thức, công cụ phân tích dựa trên Analysis Toolkit.

Deployed Application

Deployed ApplicationVí dụ về một ứng dụng giải quyết yêu cầu như sau:

- Thu thập thông tin trên Internet về sự kiện Formosa.

- Tự động tìm kiếm tất cả các đối tượng trên Mạng xã hội tham gia phát biểu, tương tác

hoặc có ý kiến về sự kiện này.

- Tự động tìm kiếm các nhóm hoạt động trên Facebook có liên quan đến sự kiện này và

thu thập thông tin về thành viên hoạt động trên nhóm.

- Tự động tìm kiếm các đối tượng (cá nhân/tổ chức) gây ảnh hưởng trên Mạng xã hội về

chủ đề này, thu thập thông tin chi tiết.

- Tự động phát hiện đối tượng kích động biểu tình, dự đoán tên tuổi, vị trí, bạn bè và

nhiều thông tin nhất có thể về đối tượng.

- Hệ thống cảnh báo nhanh khi có sự cố: những chủ đề liên quan đến biểu tình, kích

động bạo lực.


Một số case studies khác có thể tham khảo tại:

www.1data.co

People Monitoring

Kịch bản:

1. Yêu cầu: thu thập thông tin từ một tài khoản Facebook, lấy thông tin các mối quan

hệ (bạn bè), theo dõi hành động post bài. Cảnh báo nếu đối tượng này đối tượng này

post một bài trong nội dung có từ khóa.

2. Thiết kế ứng dụng:

2.1 Crawler: thiết kế kịch bản thu thập dữ liệu.

2.2 Storage: lưu trữ dữ liệu phục vụ phân tích: graph database, big data.

2.3 Analysis: cảnh báo theo từ khóa

People Monitoring

Smart

CrawlerGraph

DatabaseMonitor

Sentiment Analysis

Kịch bản:

1. Yêu cầu: theo dõi sự kiện Đồng Tâm trên mạng xã hội, phân tích cảm xúc của người

dân.


2.1 Crawler: định nghĩa kịch bản search tất cả các bài viết liên quan đến Đồng Tâm. Cấu

hình theo dõi đối tượng liên quan.

2.2 Storage: lưu trữ dưới dạng Big Data & Search Engine.

2.3 Analysis: phân tích cảm xúc (realtime) khi có người comment trên một bài viết.

Sentiment Analysis

Comment

& PostREALTIME

Positive/

Negative

Sentiment AnalysisTự động phát hiện cảm xúc trong các bài viết và bình luận

Dữ liệu tiếng Việt, free text, dài, phức tạp, kết quả phụ thuộc nhiều vào nhiều khía

cạnhNhư Phong nói rồi , nhà báo phải như con chó ấy .Lúc nào chủ cho sủa thì được sủa ,lúc nào bắt im thìphải im . Bị cấm sủa việc trong nước thì cho nó sủa việc ngoài nước chứ sao.Điều này cũng tốt ,giúpdân việt thấy được thiệt thòi của mình , đã không được bỏ phiếu thích hay không thích ông bà LĐ nàođó , lại còn không được biểu tình khi ông bà đó làm LĐ .

Tao tưởng cứ ở HN rồi khi nào đi làm có xe đón chứ, về đấy thuê nhà ah?

Dân cần lắm những câu trả lời thẳng thắn của lãnh đạo nhà nước!

Moi người cư tin vào sư lãnh đạo của đảng công sản viêt nam,moi viêc làm của đảng

đêu mang lại lơi ich cho dân,nêu không mang lại lơi ich cho dân ,cho nước thi đang se

co quyêt đinh đung đắn

Hệ thống Sentiment Analysis

Thu thập dữ liệu Xử lý tiếng ViệtHọc máy

Học sâu

Mô hình

gán nhãn

☑ Sử dụng Dynamic Crawler

☑ Dễ dàng cấu hình nguồn

tin, các thức thu thập, định

dạng trả về với đầy đủ thông

tin

☑ Dễ dàng cấu hình mở rộng

☑ Khôi phục dấu

☑ Xử lý tiếng lóng, viết tắt

☑ Tách từ, tách câu

☑ Nhận diện chủ thể

☑ Gán nhãn ngữ pháp, ngữ

nghĩa

☑ Mô hình eXtreme Gradient

Boosting

☑ Mô hình học sâu với Long

Short Term Memory

☑ Mô hình dùng luật

☑ Mô hình hỗn hợp

☑ Đảm bảo độ chính xác

☑ Tốc độ nhanh

☑ Dễ dàng cấu hình mở rộng

Kết quả Sentiment Analysis

Phát hiện câu NEGATIVE chính xác: 78%

Tiền ông cự ăn hối lộ chất thành núi, ở cái đất hà tĩnh này 6nơi nào có phong thủy đẹp thì nơi đó là of ông. Cả cái hà tĩnh này ai mà không biết ông tham ô hối lội hám

của hại dân. Đụng vào ông thì hết đường sống. Đên bao giờ việt nam mình mới không còn những con sâu con mọt đó nữa.đến bao giờ cán bộ mới yêu bảo vệ

nhân.

Cái đập thì lq đéo gì đến mấy thằng phò mu sa nhỉ ?

Chắc truyền thông vn đều bị tiêu ảy nên không tới Hà Tĩn đăng bài giật tít được

Du me Bon chó.hen voi giåc.mà ác voi dân.

Nói chung ở đây chỉ có người việt nam giết người việt mình thôi không ký bán đất cho nó thì làm sao mà biển bị nhiểm độc được,nểu có chiến tranh thì vác súng bán

mẹ mấy thằng cán bộ từ trung ương về đến tĩnh nhà

Phát hiện câu POSITIVE chính xác: 65%

Tôi có ý kiến như thế này đây là lợi ích chung của dân tộc nên mình nên nói chung chung kg nên phân biệt quá rõ ràng sẽ làm ảnh hưởng tinh thần và chia rẽ sức

mạnh của dân đối với những người kg theo tôn giáo

Tiếng trống năm 30 còn vọng đến bây giờ .Đất Xô Viết Nghệ Tĩnh thật anh hùng .

Nói 1 cách hài hước thì cũng đúng :))

Dân cần lắm những câu trả lời thẳng thắn của lãnh đạo nhà nước!

Em xưa nay vẫn theo phương pháp luận khoa học ,Em không bao giờ có ý kiến nhận xét từ phía cá nhân về các vấn đề của xã hội nếu chưa có kết quả cụ thể Nhưng

Tốc độ gán nhãn: 194 câu một giây

Facebook Automation Toolkit

Kịch bản:

1. Yêu cầu: yêu cầu hệ thống post hoặc comment tự động


2.1 Crawler: định nghĩa kịch bản (post, comment, like…) theo yêu cầu.

2.2 UI: người dùng có thể nhập nội dung.

2.3 Automation: thực hiện tự động các nội dung và hành động do người dùng định

nghĩa.

Facebook Automation Toolkit

Build

ContentAssign Job

Automation

Activities

Social Box v3

1DATA team

[email protected]

www.1data.co

giải pháp social listening

Technology