判断网页编码的方法python版
作者：mickelfeng 发布时间：2022-06-29 10:01:18
标签：python,网页编码
在web开发的时候我们经常会遇到网页抓取和分析，各种语言都可以完成这个功能。我喜欢用python实现，因为python提供了很多成熟的模块，可以很方便的实现网页抓取。
但是在抓取过程中会遇到编码的问题，那今天我们来看一下如何判断网页的编码：
网上很多网页的编码格式都不一样，大体上是GBK,GB2312，UTF-8等。
我们在获取网页的的数据后，先要对网页的编码进行判断，才能把抓取的内容的编码统一转换为我们能够处理的编码，避免乱码问题的出现。
下面介绍两种判断网页编码的方法：
总结：第二个方法很准确，在网页编码分析的时候用python模块分析内容是最准确的，而使用分析meta头信息的方法是不太准确的。
方法一：使用urllib模块的getparam方法
import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu
方法二：使用chardet模块
#如果你的python没有安装chardet模块，你需要首先安装一下chardet判断编码的模块哦
#author:pythontab.com
import chardet
import urllib
#先获取网页内容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet进行内容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu
0
投稿猜你喜欢
PlaywrightPlaywright 是微软公司开源的一款 UI 自动化测试工具，它的第一个版本 v0.10.0 发布于 2020 年- 这篇文章主要介绍了Python读取YAML文件过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋
- 本文实例介绍了基于python的Tkinter实现简易计算器的详细代码，分享给大家供大家参考，具体内容如下第一种：使用python 的 Tk
- 增加字段alter table docdsp add dspcode char(200)删除字段ALTER TABLE tabl
- 前言因为经常一训练就是很多次迭代，所以找到效率比较高的操作能大大缩短运行时间，但这方面资料不足，所以自己记录总结一下，有需要再补充索引效率与
- 前言了解了D3.js的基本开发和组件以后，我们开始应用它激动人心之处：绚丽的预定义图形，应用D3.js，我们在它的示例文件的基础上稍加变动即
- 我就废话不多说了，大家还是直接看代码吧！import kerasimport numpy as npfrom keras.applicati
- 一个非常繁琐粗暴的方法，python属于入门级水平，就酱先备份一下，如果有更好的方法再更新arrs=[[2,15,48,4,5],[6,7,
- SNMP标准引入一组ASN.1语言元素，称之为SMI（Structure of Management Information）。由SMI描述
- String slctpsql="select id ,"+uid+","+ddd+",&
- Mysql可以通过运算符来对表中数据进行运算，比如通过出生日期求年龄等运算符包括四类，分别是：算数运算符、比较运算符、逻辑运算符和位运算符算
- 我就废话不多说了，大家还是看代码吧！ import PyPDF2 import repdf_file = open('xxx.pdf
- 1. 规范简介本规范主要规定ASP源程序在书写过程中所应遵循的规则及注意事项。编写该规范的目的是使项目开发人员的源代码书写习惯保持一致。这样
- 常用快捷键全部快捷键1、编辑（Editing）2、查找/替换(Search/Replace)3、运行(Running)4、调试(Debugg
- MySQL 拥有一个复杂的但直观易学的 SQL 接口。这个章节描述了各种不同的命令、类型和函数，为了高效地使用 MySQL 需要了解它们。这
- 这篇文章主要介绍了python调用接口的4种方式代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的
- package work;import java.io.BufferedReader;import java.io.IOException;
- 1.彻底弄懂CSS盒子模式一(DIV布局快速入门) 2.彻底弄懂CSS盒子模式二(导航栏实例) 3.彻底弄懂CSS盒子模式三(浮动的表演和清
- 由于我在从源码看vue(v2.7.10)的computed的实现原理中详细的讲解过computed的实现，本篇跟computed的原理类似。
- 前言本文主要给大家介绍了关于python中reload(module)用法的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细
