柚子快報邀請碼778899分享：畢設(shè) 基于大數(shù)據(jù)的b站數(shù)據(jù)分析

http://yzkb.51969.com/

文章目錄

0 數(shù)據(jù)分析目標1 B站整體視頻數(shù)據(jù)分析1.1 數(shù)據(jù)預(yù)處理1.2 數(shù)據(jù)可視化1.3 分析結(jié)果

2 單一視頻分析2.1 數(shù)據(jù)預(yù)處理2.2 數(shù)據(jù)清洗2.3 數(shù)據(jù)可視化

3 文本挖掘（NLP）3.1 情感分析

0 數(shù)據(jù)分析目標

今天向大家介紹如何使用大數(shù)據(jù)技術(shù)，對B站的視頻數(shù)據(jù)進行分析，得到可視化結(jié)果。

項目運行效果：

畢業(yè)設(shè)計 基于大數(shù)據(jù)的b站數(shù)據(jù)分析

刺 項目分享:見文末!

1 B站整體視頻數(shù)據(jù)分析

分析方向：首先從總體情況進行分析，之后分析綜合排名top100的視頻類別。

總體情況部分包括：

各分區(qū)播放量情況。各區(qū)三連（硬幣、收藏、點贊）情況。彈幕、評論、轉(zhuǎn)發(fā)情況。繪制綜合詞云圖，查看關(guān)鍵詞匯。

綜合排名top100部分包括： 5. top100類別占比。 6. top100播放量情況。 7. 硬幣、收藏、點贊平均人數(shù)分布。 8. 各分區(qū)平均評論、彈幕、轉(zhuǎn)發(fā)量情況。

1.1 數(shù)據(jù)預(yù)處理

這里主要是進行查看數(shù)據(jù)信息、空值、重復(fù)值以及數(shù)據(jù)類型，但由于數(shù)據(jù)很完整這里不再做過多操作。

對數(shù)據(jù)進行拆分、聚合，方便之后各項分析，由于“區(qū)類別”列中的“全站”是各分類中排名靠前的視頻，會出現(xiàn)重復(fù)數(shù)據(jù)，因此對其進行去除。

df.info()

df.isnull().count()

df.nunique().count()

df.dtypes

#剔除全區(qū)排名

df_nall=df.loc[df['區(qū)類別']!='全站']

df_nall['區(qū)類別'].value_counts()

#按分數(shù)進行排序asc

df_top100 = df_nall.sort_values(by='分數(shù)',ascending=False)[:100]

df_type = df_nall.drop(['作者','視頻編號','標簽名稱','視頻名稱','排名'],axis=1)

gp_type = df_type.groupby('區(qū)類別').sum().astype('int')

type_all = gp_type.index.tolist()

1.2 數(shù)據(jù)可視化

各分區(qū)播放情況

play = [round(i/100000000,2) for i in gp_type['播放次數(shù)'].tolist()]

# bar = (Bar()

# .add_xaxis(type_all)

# .add_yaxis("", play)

# .set_global_opts(

# title_opts=opts.TitleOpts(title="各分區(qū)播放量情況"),

# yaxis_opts=opts.AxisOpts(name="次/億"),

# xaxis_opts=opts.AxisOpts(name="分區(qū)",axislabel_opts={"rotate":45})

# )

# )

# bar.render_notebook()

pie = (

Pie()

.add(

"",

[list(z) for z in zip(type_all,

play)],

radius=["40%", "75%"],

)

.set_global_opts(

title_opts=opts.TitleOpts(title="各分區(qū)播放量情況 單位：億次"),

legend_opts=opts.LegendOpts(

orient="vertical", pos_top="15%", pos_left="2%"

),

)

.set_series_opts(label_opts=opts.LabelOpts(formatter=": {c}"))

)

pie.render_notebook()

播放量排名前三的分別是生活類、動畫類、鬼畜類。其中動畫類和鬼畜類，這兩個是B站的特色。 第三、四位是音樂類和科技類。

各區(qū)三連量情況可視化

coin_all = [round(i/1000000,2) for i in gp_type['硬幣數(shù)'].tolist()]

like_all = [round(i/1000000,2) for i in gp_type['點贊數(shù)'].tolist()]

favourite_all = [round(i/1000000,2) for i in gp_type['喜歡人數(shù)'].tolist()]

def bar_base() -> Bar:

c = (

Bar()

.add_xaxis(type_all)

.add_yaxis("硬幣", coin_all)

.add_yaxis("點贊", like_all)

.add_yaxis("收藏", favourite_all)

.set_global_opts(title_opts=opts.TitleOpts(title="各分區(qū)三連情況"),

yaxis_opts=opts.AxisOpts(name="次/百萬"),

xaxis_opts=opts.AxisOpts(name="分區(qū)",

axislabel_opts={"rotate":45}))

)

return c

bar_base().render_notebook()

雖然生活類投幣和點贊數(shù)依然是不可撼動的，但是收藏數(shù)卻排在動畫之后，科技類收藏升至第四位。

彈幕、評論、三聯(lián)情況

danmaku_all = [round(i/100000,2) for i in gp_type['彈幕數(shù)'].tolist()]

reply_all = [round(i/100000,2) for i in gp_type['評論數(shù)'].tolist()]

share_all = [round(i/100000,2) for i in gp_type['轉(zhuǎn)發(fā)數(shù)'].tolist()]

line = (

Line()

.add_xaxis(type_all)

.add_yaxis("彈幕", danmaku_all,label_opts=opts.LabelOpts(is_show=False))

.add_yaxis("評論", reply_all,label_opts=opts.LabelOpts(is_show=False))

.add_yaxis("轉(zhuǎn)發(fā)", share_all,label_opts=opts.LabelOpts(is_show=False))

.set_global_opts(

title_opts=opts.TitleOpts(title="彈幕、評論、轉(zhuǎn)發(fā)情況"),

tooltip_opts=opts.TooltipOpts(trigger="axis", axis_pointer_type="cross"),

yaxis_opts=opts.AxisOpts(name="人數(shù) 單位：十萬"),

xaxis_opts=opts.AxisOpts(name="時間(日)",axislabel_opts={"rotate":45})

)

)

line.render_notebook()

B站搜索詞云圖

tag_list=','.join(df_nall['標簽名稱']).split(',')

tags_count=pd.Series(tag_list).value_counts()

wordcloud = (

WordCloud()

.add("",

[list(z) for z in zip(tags_count.index,tags_count)],

word_size_range=[10, 100])

.set_global_opts(title_opts=opts.TitleOpts(title="熱門標簽"))

)

wordcloud.render_notebook()

硬幣、收藏、點贊平均人數(shù)分布

gp_triple_quality = df_top100.groupby('區(qū)類別')[['硬幣數(shù)','喜歡人數(shù)','點贊數(shù)',]].mean().astype('int')

gp_index = gp_triple_quality.index.tolist()

gp_coin = gp_triple_quality['硬幣數(shù)'].values.tolist()

gp_favorite = gp_triple_quality['喜歡人數(shù)'].values.tolist()

gp_like = gp_triple_quality['點贊數(shù)'].values.tolist()

max_num = max(gp_triple_quality.values.reshape(-1))

def radar_base() -> Radar:

c = (

Radar()

.add_schema(

schema=[

opts.RadarIndicatorItem(name=gp_index[0], max_=600000),

opts.RadarIndicatorItem(name=gp_index[1], max_=600000),

opts.RadarIndicatorItem(name=gp_index[2], max_=600000),

opts.RadarIndicatorItem(name=gp_index[3], max_=600000),

opts.RadarIndicatorItem(name=gp_index[4], max_=600000),

opts.RadarIndicatorItem(name=gp_index[5], max_=600000),

opts.RadarIndicatorItem(name=gp_index[6], max_=600000),

opts.RadarIndicatorItem(name=gp_index[7], max_=600000),

opts.RadarIndicatorItem(name=gp_index[8], max_=600000),]

)

.add("硬幣數(shù)", [gp_coin],color='#40e0d0')

.add("喜歡人數(shù)", [gp_favorite],color='#1e90ff')

.add("點贊數(shù)", [gp_like],color='#b8860b')

.set_series_opts(label_opts=opts.LabelOpts(is_show=False),

linestyle_opts=opts.LineStyleOpts(width=3,type_='dotted'),)

.set_global_opts(title_opts=opts.TitleOpts(title="硬幣、收藏、點贊平均人數(shù)分布"))

)

return c

radar_base().render_notebook()

生活區(qū)的平均投幣和點贊量依然高于動畫區(qū)。投幣、點贊、收藏最高的分區(qū)分別是：生活、影視、時尚。除了時尚區(qū)外，其他分區(qū)的收藏量均低于投幣和點贊，且時尚區(qū)的收藏量是遠高其點贊和投幣量。

1.3 分析結(jié)果

從數(shù)據(jù)可視化中可以看到，播放量排名前三的分別是生活類、動畫類、鬼畜類，讓人詫異的是以動漫起家的B站，播放量最多的視頻分類竟然是生活類節(jié)目。

對比總體各分類播放情況，top100各類占比基本保持不變。生活類的平均投幣和點贊量依然高于動畫類。投幣、點贊、收藏最高的分區(qū)分別是：生活、影視、時尚。除了時尚區(qū)外，其他分區(qū)的收藏量均低于投幣和點贊，且時尚區(qū)的收藏量是遠高其點贊和投幣量。

2 單一視頻分析

2.1 數(shù)據(jù)預(yù)處理

B站爬蟲代碼Demo

import requests,csv,time

import sys

from bs4 import BeautifulSoup as BS

'''獲取網(wǎng)頁內(nèi)容'''

def request_get_comment(url):

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)',

'Cookie': 'LIVE_BUVID=AUTO7215383727315695; stardustvideo=1; rpdid=kwxwwoiokwdoskqkmlspw; '

'fts=1540348439; sid=alz55zmj; CURRENT_FNVAL=16; _uuid=08E6859E-EB68-A6B3-5394-65272461BC6E49706infoc; '

'im_notify_type_64915445=0; UM_distinctid=1673553ca94c37-0491294d1a7e36-36664c08-144000-1673553ca956ac; '

'DedeUserID=64915445; DedeUserID__ckMd5=cc0f686b911c9f2d; SESSDATA=7af19f78%2C1545711896%2Cb812f4b1; '

'bili_jct=dc9a675a0d53e8761351d4fb763922d5; BANGUMI_SS_5852_REC=103088; '

'buvid3=AE1D37C0-553C-445A-9979-70927B6C493785514infoc; finger=edc6ecda; CURRENT_QUALITY=80; '

'bp_t_offset_64915445=199482032395569793; _dfcaptcha=44f6fd1eadc58f99515d2981faadba86'}

response = requests.get(url=url,headers=headers)

soup = BS(response.text.encode(response.encoding).decode('utf8'),'lxml')

result = soup.find_all('d')

if len(result) == 0:

return result

all_list = []

for item in result:

barrage_list = item.get('p').split(",")

barrage_list.append(item.string)

barrage_list[4] = time.ctime(eval(barrage_list[4]))

all_list.append(barrage_list)

return all_list

'''將秒轉(zhuǎn)化為固定格式："時：分：秒"'''

def sec_to_str(second):

second = eval(second)

m,s = divmod(second,60)

h,m = divmod(m,60)

dtEventTime = "%02d:%02d:%02d" % (h,m,s)

return dtEventTime

'''主函數(shù)'''

def main():

sys.setrecursionlimit(1000000)

url_list = []

cid_list = [16980576,16980597,16548432,16483358,16740879,17031320,

17599975,18226264,17894824,18231028,18491877,18780374]

tableheader = ['彈幕出現(xiàn)時間', '彈幕格式', '彈幕字體', '彈幕顏色', '彈幕時間戳',

'彈幕池','用戶ID','rowID','彈幕信息']

'''最新彈幕文件'''

for i in range(12):

url = "https://comment.bilibili.com/%d.xml" % cid_list[i]

url_list.append(url)

file_name = "now{}.csv".format(i + 1)

with open(file_name,'w',newline='',errors='ignore') as fd:

comment = request_get_comment(url)

writer = csv.writer(fd)

# writer.writerow(tableheader)

if comment:

for row in comment:

print(row)

#writer.writerow(row)

del comment

'''按照集數(shù)，取出彈幕鏈接，進行爬蟲，獲取彈幕記錄，并保存到csv文件'''

for i in range(12):

file_name = "d{}.csv".format(i+1)

for j in range(1,13):

for date in range(2):

barrage_url = first_barrage_url.format(cid_list[i],"%02d" % j,"%02d" % (1 + date * 14))

with open(file_name,'a',newline='',errors='ignore') as fd :

writer = csv.writer(fd)

writer.writerow(tableheader)

final_list = request_get_comment(barrage_url)

if final_list:

for row in final_list:

writer.writerow(row)

del (final_list)

if __name__ == "__main__":

main()

2.2 數(shù)據(jù)清洗

導(dǎo)入數(shù)據(jù)分析庫

#數(shù)據(jù)處理庫

import numpy as np

import pandas as pd

import glob

import re

import jieba

#可視化庫

import stylecloud

import matplotlib.pyplot as plt

import seaborn as sns

%matplotlib inline

from pyecharts.charts import *

from pyecharts import options as opts

from pyecharts.globals import ThemeType

from IPython.display import Image

#文本挖掘庫

from snownlp import SnowNLP

from gensim import corpora,models

合并彈幕數(shù)據(jù)

csv_list = glob.glob('/danmu/*.csv')

print('共發(fā)現(xiàn)%s個CSV文件'% len(csv_list))

print('正在處理............')

for i in csv_list:

fr = open(i,'r').read()

with open('danmu_all.csv','a') as f:

f.write(fr)

print('合并完畢！')

重復(fù)值、缺失值等處理

#error_bad_lines參數(shù)可忽略異常行

df = pd.read_csv("./danmu_all.csv",header=None,error_bad_lines=False)

df = df.iloc[:,[1,2]] #選擇用戶名和彈幕內(nèi)容列

df = df.drop_duplicates() #刪除重復(fù)行

df = df.dropna() #刪除存在缺失值的行

df.columns = ["user","danmu"] #對字段進行命名

清洗后數(shù)據(jù)如下所示：

數(shù)據(jù)去重

機械壓縮去重即數(shù)據(jù)句內(nèi)的去重，我們發(fā)現(xiàn)彈幕內(nèi)容存在例如"啊啊啊啊啊"這種數(shù)據(jù)，而實際做情感分析時，只需要一個“啊”即可。

#定義機械壓縮去重函數(shù)

def yasuo(st):

for i in range(1,int(len(st)/2)+1):

for j in range(len(st)):

if st[j:j+i] == st[j+i:j+2*i]:

k = j + i

while st[k:k+i] == st[k+i:k+2*i] and k

k = k + i

st = st[:j] + st[k:]

return st

yasuo(st="啊啊啊啊啊啊啊")

應(yīng)用以上函數(shù)，對彈幕內(nèi)容進行句內(nèi)去重。

df["danmu"] = df["danmu"].apply(yasuo)

特殊字符過濾

另外，我們還發(fā)現(xiàn)有些彈幕內(nèi)容包含表情包、特殊符號等，這些臟數(shù)據(jù)也會對情感分析產(chǎn)生一定影響。

特殊字符直接通過正則表達式過濾，匹配出中文內(nèi)容即可。

df['danmu'] = df['danmu'].str.extract(r"([\u4e00-\u9fa5]+)")

df = df.dropna() #純表情直接刪除

另外，過短的彈幕內(nèi)容一般很難看出情感傾向，可以將其一并過濾。

df = df[df["danmu"].apply(len)>=4]

df = df.dropna()

2.3 數(shù)據(jù)可視化

數(shù)據(jù)可視化分析部分代碼本公眾號往期原創(chuàng)文章已多次提及，本文不做贅述。從可視化圖表來看，網(wǎng)友對《沉默的真相》還是相當認可的，尤其對白宇塑造的正義形象江陽，提及頻率遠高于其他角色。

整體彈幕詞云

主演提及

3 文本挖掘（NLP）

3.1 情感分析

情感分析是對帶有感情色彩的主觀性文本進行分析、處理、歸納和推理的過程。按照處理文本的類別不同，可分為基于新聞評論的情感分析和基于產(chǎn)品評論的情感分析。其中，前者多用于輿情監(jiān)控和信息預(yù)測，后者可幫助用戶了解某一產(chǎn)品在大眾心目中的口碑。目前常見的情感極性分析方法主要是兩種：基于情感詞典的方法和基于機器學習的方法。

本文主要運用Python的第三方庫SnowNLP對彈幕內(nèi)容進行情感分析，使用方法很簡單，計算出的情感score表示語義積極的概率，越接近0情感表現(xiàn)越消極，越接近1情感表現(xiàn)越積極。

df['score'] = df["danmu"].apply(lambda x:SnowNLP(x).sentiments)

df.sample(10) #隨機篩選10個彈幕樣本數(shù)據(jù)

整體情感傾向

plt.rcParams['font.sans-serif'] = ['SimHei'] # 設(shè)置加載的字體名

plt.rcParams['axes.unicode_minus'] = False # 解決保存圖像是負號'-'顯示為方塊的問題

plt.figure(figsize=(12, 6)) #設(shè)置畫布大小

rate = df['score']

ax = sns.distplot(rate,

hist_kws={'color':'green','label':'直方圖'},

kde_kws={'color':'red','label':'密度曲線'},

bins=20) #參數(shù)color樣式為salmon，bins參數(shù)設(shè)定數(shù)據(jù)片段的數(shù)量

ax.set_title("彈幕整體情感傾向 繪圖：「菜J學Python」公眾號")

plt.show

觀眾對主演的情感傾向

mapping = {'jiangyang':'白宇|江陽', 'yanliang':'廖凡|嚴良', 'zhangchao':'寧理|張超','lijing':'譚卓|李靜', 'wengmeixiang':'李嘉欣|翁美香'}

for key, value in mapping.items():

df[key] = df['danmu'].str.contains(value)

average_value = pd.Series({key: df.loc[df[key], 'score'].mean() for key in mapping.keys()})

print(average_value.sort_values())

由各主要角色情感得分均值可知，觀眾對他們都表現(xiàn)出積極的情感。翁美香和李靜的情感得分均值相對高一些，難道是男性觀眾偏多？江陽的情感傾向相對較低，可能是觀眾對作為正義化身的他慘遭各種不公而鳴不平吧。

主題分析

這里的主題分析主要是將彈幕情感得分劃分為兩類，分別為積極類（得分在0.8以上）和消極類（得分在0.3以下），然后再在各類里分別細分出5個主題，有助于挖掘出觀眾情感產(chǎn)生的原因。

首先，篩選出兩大類分別進行分詞。

#分詞

data1 = df['danmu'][df["score"]>=0.8]

data2 = df['danmu'][df["score"]<0.3]

word_cut = lambda x:' '.join(jieba.cut(x)) #以空格隔開

data1 = data1.apply(word_cut)

data2 = data2.apply(word_cut)

print(data1)

print('----------------------')

print(data2)

123456789

首先，篩選出兩大類分別進行分詞。

#去除停用詞

stop = pd.read_csv("/菜J學Python/stop_words.txt",encoding='utf-8',header=None,sep='tipdm')

stop = [' ',''] + list(stop[0])

#print(stop)

pos = pd.DataFrame(data1)

neg = pd.DataFrame(data2)

pos["danmu_1"] = pos["danmu"].apply(lambda s:s.split(' '))

pos["danmu_pos"] = pos["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

#print(pos["danmu_pos"])

neg["danmu_1"] = neg["danmu"].apply(lambda s:s.split(' '))

neg["danmu_neg"] = neg["danmu_1"].apply(lambda x:[i for i in x if i.encode('utf-8') not in stop])

其次，對積極類彈幕進行主題分析。

#正面主題分析

pos_dict = corpora.Dictionary(pos["danmu_pos"]) #建立詞典

#print(pos_dict)

pos_corpus = [pos_dict.doc2bow(i) for i in pos["danmu_pos"]] #建立語料庫

pos_lda = models.LdaModel(pos_corpus,num_topics=5,id2word=pos_dict) #LDA模型訓練

print("正面主題分析：")

for i in range(5):

print('topic',i+1)

print(pos_lda.print_topic(i)) #輸出每個主題

print('-'*50)

結(jié)果如下：

最后，對消極類彈幕進行主題分析。

#負面主題分析

neg_dict = corpora.Dictionary(neg["danmu_neg"]) #建立詞典

#print(neg_dict)

neg_corpus = [neg_dict.doc2bow(i) for i in neg["danmu_neg"]] #建立語料庫

neg_lda = models.LdaModel(neg_corpus,num_topics=5,id2word=neg_dict) #LDA模型訓練

print("負面面主題分析：")

for j in range(5):

print('topic',j+1)

print(neg_lda.print_topic(j)) #輸出每個主題

print('-'*50)

結(jié)果如下：

項目運行效果：

畢業(yè)設(shè)計 基于大數(shù)據(jù)的b站數(shù)據(jù)分析

刺 項目分享:見文末!

柚子快報邀請碼778899分享：畢設(shè) 基于大數(shù)據(jù)的b站數(shù)據(jù)分析

http://yzkb.51969.com/

精彩鏈接