掃二維碼與項目經(jīng)理溝通
我們在微信上24小時期待你的聲音
解答本文疑問/技術咨詢/運營咨詢/技術建議/互聯(lián)網(wǎng)交流
需要準備的環(huán)境:

成都網(wǎng)站建設哪家好,找成都創(chuàng)新互聯(lián)公司!專注于網(wǎng)頁設計、網(wǎng)站建設公司、微信開發(fā)、小程序開發(fā)、集團企業(yè)網(wǎng)站建設等服務項目。核心團隊均擁有互聯(lián)網(wǎng)行業(yè)多年經(jīng)驗,服務眾多知名企業(yè)客戶;涵蓋的客戶類型包括:成都三維植被網(wǎng)等眾多領域,積累了大量豐富的經(jīng)驗,同時也獲得了客戶的一致稱揚!
pip3 install request -i http://pypi.douban.com/simple
爬取步驟:
1.登錄后打開需要爬取的視頻頁面,打開開發(fā)者工具臺,Chrome可以使用F12快捷鍵,選擇network監(jiān)聽請求
2.點擊查看歷史彈幕,獲取請求
其中rolldate后面的數(shù)字表示該視頻對應的彈幕號,返回的數(shù)據(jù)中timestamp表示彈幕日期,new表示數(shù)目
4.在查看歷史彈幕中任選一天,查看,會發(fā)出新的請求
dmroll ,時間戳,彈幕號,表示獲取該日期的彈幕,1507564800 表示2017/10/10 0:0:0
該請求返回xml數(shù)據(jù)
5.使用正則表達式獲取所有彈幕消息,匹配模式
- '
(.*?) '
6.拼接字符串,將所有彈幕保存到本地文件即可
- with open('content.txt', mode='w+', encoding='utf8') as f: f.write(content)
7.參考代碼如下,將彈幕按照日期保存為單個文件...因為太多了...
- import requests
- import re
- import time
- """ 爬取嗶哩嗶哩視頻彈幕信息"""
- # 2043618 是視頻的彈幕標號,這個地址會返回時間列表
- # https://www.bilibili.com/video/av1349282
- url = 'https://comment.bilibili.com/rolldate,2043618'
- # 獲取彈幕的id 2043618
- video_id = url.split(',')[-1]print(video_id)
- # 獲取json文件
- html = requests.get(url)
- # print(html.json())
- # 生成時間戳列表
- time_list = [i['timestamp'] for i in html.json()]
- # print(time_list)
- # 獲取彈幕網(wǎng)址格式 'https://comment.bilibili.com/dmroll,時間戳,彈幕號'
- # 彈幕內容,由于總彈幕量太大,將每個彈幕文件分別保存
- for i in time_list: content = '' j = 'https://comment.bilibili.com/dmroll,{0},{1}'.format(i, video_id) print(j) text = requests.get(j).text
- # 匹配彈幕內容 res = re.findall('
(.*?) ', text)- # 將時間戳轉化為日期形式,需要把字符串轉為整數(shù) timeArray = time.localtime(int(i)) date_time = time.strftime("%Y-%m-%d %H:%M:%S", timeArray) print(date_time) content += date_time + '
- ' for k in res: content += k + '
- ' content += '
- ' file_path = 'txt/{}.txt'.format(time.strftime("%Y_%m_%d", timeArray)) print(file_path)
- with open(file_path, mode='w+', encoding='utf8') as f: f.write(content)
8.最終效果

我們在微信上24小時期待你的聲音
解答本文疑問/技術咨詢/運營咨詢/技術建議/互聯(lián)網(wǎng)交流