python抓取京东小米8手机配置信息
作者：谢公子 发布时间：2021-10-12 15:55:32
标签：python,抓取,京东
本文代码是使用python抓取京东小米8手机的配置信息
首先找到小米8商品的链接：https://item.jd.com/7437788.html
然后找到其配置信息的标签，我们找到其配置信息的标签为 <div class="Ptable">
然后再分析其配置信息的页面的规律，我们发现都是dl中包含了dt和dd，而一个dt对应的一个dd，dt对应的是参数，dd对应的是参数具体的值
下面是源代码
import requests
from bs4 import BeautifulSoup
from pandas import Series
from pandas import DataFrame
response=requests.get("https://item.jd.com/7437788.html")
html=response.text
soup=BeautifulSoup(html,"html.parser")
divSoup=soup.find("div",attrs={"class","Ptable"}) ##找到其配置信息的标签
data=DataFrame(columns=["参数","值"]) #定义一个二元的DataFrame
dls=divSoup.find_all("dl")
for dl in dls:
dts=dl.find_all("dt")
dds=dl.find_all("dd")
if len(dts)==len(dds):
for i in range(len(dts)):
f=dts[i].getText();
p=dds[i].getText();
data=data.append(Series([f,p],index=["参数","值"]),ignore_index=True);
print(data)
这是最终抓取到的配置信息，一共有64行，这里我就不一一列举出来了
来源：https://blog.csdn.net/qq_36119192/article/details/83050274
0
投稿猜你喜欢
- 一、引 言 在速度上,静态页面要比动态页面的比方php快很多,这是毫无疑问的,但是由于静态页面的灵活性较差,如果不借助数据库或其他的设备保存
- 信息架构的组件可以拆分成四类组织系统 如何组织信息，例如，依据主题或年代顺序。标签系统 如何表示信息，例如，科学术语（“Acer”）或通俗术
由于新云CMS系统，网站底部“版权信息”字段在数据库中是“文本”类型，有250个字符的限制。想在这里给加网站统计代码，因为字数限制的原因，就- 本文实例讲述了python中sys.argv参数用法。分享给大家供大家参考。具体分析如下：在学python的过程中，一直弄不明白sys.ar
- 前言快520了，咱们来玩玩五子棋陶冶情操。快拿这个和你女朋友去对线。（分了别来找我哇）。多的不说直接进入正题人人对战游戏规则：p1为黑子，p
- 手头有 109 张头部 CT 的断层扫描图片，我打算用这些图片尝试头部的三维重建。基础工作之一，就是要把这些图片数据读出来，组织成一个三维的
- 本文总结了一些简单基本的输出格式化形式，下面话不多说了，来看看详细的介绍吧。一、打印字符串>>> print "
- # -*-coding:utf8 -*- ''' Python常见文件操作示例 os.path 模块中的路径名访问函
- 小编想把用python将列表[1,1,1,1,1,1,1,1,1,1] 和 列表 [2,2,2,2,2,2,2,2,2,2]对应相加成[3,
- clipboardData 对象提供了对于预定义的剪贴板格式的访问，以便在编辑操作中使用。成员表方法 描述 clearData 通过 dat
- 一、常见的异常1、NameError 未定义变量异常print(a)# 输出：NameError: name 'a' is
- 本文主要研究的是Python编程turtle的实例，绘制一个七彩蟒蛇。。具体如下。第2周的课后练习里，有一道题目，要求修改“蟒蛇绘制”程序，
- window.opener 的用法 window.opener 返回的是创建当前窗口的那个窗口的引用，比如点击了a.htm上的一
- 概述Visdom:一个灵活的可视化工具，可用来对于 实时，富数据的 创建，组织和共享。支持Torch和Numpy还有pytorch。visd
- 示例1：pycallclass.cpp：#include <iostream>using namespace std;typed
- Oracle中表的外键是保证系统参照完整性的手段，而参照完整性是指分布在两个表中的列所满足的具有主从性质的约束关系。外键涉及到两个表，其中一
- 本文实例讲述了Python使用import导入本地脚本及导入模块的技巧。分享给大家供大家参考，具体如下：导入本地脚本import 如果你要导
- 只添加了一些自己想到的常用的功能,欢迎大家补充添加自己的好的思路. 通用的正则和方法可以写在RegExpObj中,
- 一、requests库requests是使用Apache2 licensed 许可证的HTTP库。比urllib模块更简洁。Request支
- 前言在跑项目时，常常会安装很多的包，也通常会遇到需要安装指定版本的包，以及包与包不兼容的问题。比如：在项目1中安装librosa时，会自动安
