登陆 注册

关于python大数据爬取

tongtong 2020-02-28 295人围观 ,发现0个评论

作者:桐桐

联系方式:2449345408

本文是关于携程旅游出行酒店爬取用户数据的文章。阅读可能需要花费您3分钟时间。

用到的编程:python

用到的库:requests,re,csv,json

一部分代码如下:

response = requests.post(url, headers=headers, data=data)
        json_data = json.loads(response.text)  # 将源码转成dict
        datas = json_data['othersCommentList']
        for data in datas:
            if 'feedbackList' not in data:  # 防止有的留言酒店没有回复
                re_content = '无回复'
                userNickName = data['userNickName']  # 留言人
                checkInDate = data['checkInDate']  # 入住时间
                postDate = data['postDate']  # 留言时间
                baseRoomName = data['baseRoomName']  # 房间类型
                ke_content = data['content']  # 客人评价
                item = {
                    '留言人': userNickName,
                    '入住时间': checkInDate,
                    '留言时间': postDate,
                    '房间类型': baseRoomName,
                    '留言': ke_content,
                    '回复': re_content
                }
                save_csv(item)

            else:
                userNickName = data['userNickName']  # 留言人
                checkInDate = data['checkInDate']  # 入住时间
                postDate = data['postDate']  # 留言时间
                baseRoomName = data['baseRoomName']  # 房间类型
                ke_content = data['content']  # 客人评价
                re_content = data['feedbackList'][0]['content']  # 酒店回复
                item = {
                    '留言人': userNickName,
                    '入住时间': checkInDate,
                    '留言时间': postDate,
                    '房间类型': baseRoomName,
                    '留言': ke_content,
                    '回复': re_content
                }
                print('写入完成')
                #print(item)
                save_csv(item)

采集数据的图片如下:

关于python大数据爬取 神兵利器 第1张

关于python大数据爬取 神兵利器 第2张

关于python大数据爬取 神兵利器 第3张

本文数据采集自携程网上海柏悦酒店:https://hotels.ctrip.com/hotel/346385.html?isFull=F&showflagship=hyatt&masterhotelid=346385&hcityid=2#ctm_ref=hod_sr_lst_dl_n_1_1 

有需要的朋友可以联系我。

未经授权,严禁转载!

请发表您的评论
0文章数 0评论数
最近文章
蚁人QQ二维码
蚁人QQ二维码
不容错过
Powered By 蚁人博客