使用Python的urlliib.parse库解析URL

Python 中的 urllib.parse 模块提供了很多解析和组建 URL 的函数。 

成都创新互联是一家集网站建设,禹城企业网站建设,禹城品牌网站建设,网站定制,禹城网站建设报价,网络营销,网络优化,禹城网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。

解析url

urlparse() 函数可以将 URL 解析成 ParseResult 对象。对象中包含了六个元素，分别为：

  • 协议（scheme）
  • 域名（netloc）
  • 路径（path）
  • 路径参数（params）
  • 查询参数（query）
  • 片段（fragment）
 
 
 
 
    
  
  
  
  
  1. from urllib.parse import urlparse
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. url='http://user:pwd@domain:80/path;params?query=queryarg#fragment'
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. parsed_result=urlparse(url)
    6. 
  
  
  
  
  6.  
    7. 
  
  
  
  
  7. print('parsed_result 包含了',len(parsed_result),'个元素')
    8. 
  
  
  
  
  8. print(parsed_result)
    9.

结果为:

 
 
 
 
    
  
  
  
  
  1. parsed_result 包含了 6 个元素
    2. 
  
  
  
  
  2. ParseResult(scheme='http', netloc='user:pwd@domain:80', path='/path', params='params', query='query=queryarg', fragment='fragment')
    3.

ParseResult 继承于 namedtuple，因此可以同时通过索引和命名属性来获取 URL 中各部分的值。

为了方便起见， ParseResult 还提供了 username、 password、 hostname、 port 对 netloc 进一步进行拆分。

 
 
 
 
    
  
  
  
  
  1. print('scheme :', parsed_result.scheme)
    2. 
  
  
  
  
  2. print('netloc :', parsed_result.netloc)
    3. 
  
  
  
  
  3. print('path :', parsed_result.path)
    4. 
  
  
  
  
  4. print('params :', parsed_result.params)
    5. 
  
  
  
  
  5. print('query :', parsed_result.query)
    6. 
  
  
  
  
  6. print('fragment:', parsed_result.fragment)
    7. 
  
  
  
  
  7. print('username:', parsed_result.username)
    8. 
  
  
  
  
  8. print('password:', parsed_result.password)
    9. 
  
  
  
  
  9. print('hostname:', parsed_result.hostname)
    10. 
  
  
  
  
  10. print('port :', parsed_result.port)
    11.

结果为：

 
 
 
 
    
  
  
  
  
  1. scheme : http
    2. 
  
  
  
  
  2. netloc : user:pwd@domain:80
    3. 
  
  
  
  
  3. path : /path
    4. 
  
  
  
  
  4. params : params
    5. 
  
  
  
  
  5. query : query=queryarg
    6. 
  
  
  
  
  6. fragment: fragment
    7. 
  
  
  
  
  7. username: user
    8. 
  
  
  
  
  8. password: pwd
    9. 
  
  
  
  
  9. hostname: domain
    10. 
  
  
  
  
  10. port : 80
    11.

除了 urlparse() 之外，还有一个类似的 urlsplit() 函数也能对 URL 进行拆分，所不同的是， urlsplit() 并不会把 路径参数(params) 从 路径(path) 中分离出来。

当 URL 中路径部分包含多个参数时，使用 urlparse() 解析是有问题的：

 
 
 
 
    
  
  
  
  
  1. url='http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg#fragment'
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. parsed_result=urlparse(url)
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. print(parsed_result)
    6. 
  
  
  
  
  6. print('parsed.path :', parsed_result.path)
    7. 
  
  
  
  
  7. print('parsed.params :', parsed_result.params)
    8.

结果为：

 
 
 
 
    
  
  
  
  
  1. ParseResult(scheme='http', netloc='user:pwd@domain:80', path='/path1;params1/path2', params='params2', query='query=queryarg', fragment='fragment')
    2. 
  
  
  
  
  2. parsed.path : /path1;params1/path2
    3. 
  
  
  
  
  3. parsed.params : params2
    4.

这时可以使用 urlsplit() 来解析：

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import urlsplit
    2. 
  
  
  
  
  2. split_result=urlsplit(url)
    3. 
  
  
  
  
  3.  
    4. 
  
  
  
  
  4. print(split_result)
    5. 
  
  
  
  
  5. print('split.path :', split_result.path)
    6. 
  
  
  
  
  6. # SplitResult 没有 params 属性
    7.

结果为：

 
 
 
 
    
  
  
  
  
  1. SplitResult(scheme='http', netloc='user:pwd@domain:80', path='/path1;params1/path2;params2', query='query=queryarg', fragment='fragment')
    2. 
  
  
  
  
  2. split.path : /path1;params1/path2;params2
    3.

若只是要将 URL 后的 fragment 标识拆分出来，可以使用 urldefrag() 函数：

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import urldefrag
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. url = 'http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg#fragment'
    4. 
  
  
  
  
  4.  
    5. 
  
  
  
  
  5. d = urldefrag(url)
    6. 
  
  
  
  
  6. print(d)
    7. 
  
  
  
  
  7. print('url :', d.url)
    8. 
  
  
  
  
  8. print('fragment:', d.fragment)
    9.

结果为：

 
 
 
 
    
  
  
  
  
  1. DefragResult(url='http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg', fragment='fragment')
    2. 
  
  
  
  
  2. url : http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg
    3. 
  
  
  
  
  3. fragment: fragment 
    4.

组建URL

ParsedResult 对象和 SplitResult 对象都有一个 geturl() 方法，可以返回一个完整的 URL 字符串。

 
 
 
 
    
  
  
  
  
  1. print(parsed_result.geturl())
    2. 
  
  
  
  
  2. print(split_result.geturl())
    3.

结果为：

 
 
 
 
    
  
  
  
  
  1. http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg#fragment
    2. 
  
  
  
  
  2. http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg#fragment
    3.

但是 geturl() 只在 ParsedResult 和 SplitResult 对象中有，若想将一个普通的元组组成 URL，则需要使用 urlunparse() 函数：

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import urlunparse
    2. 
  
  
  
  
  2. url_compos = ('http', 'user:pwd@domain:80', '/path1;params1/path2', 'params2', 'query=queryarg', 'fragment')
    3. 
  
  
  
  
  3. print(urlunparse(url_compos))
    4.

结果为：

 
 
 
 
    
  
  
  
  
  1. http://user:pwd@domain:80/path1;params1/path2;params2?query=queryarg#fragment 
    2.

相对路径转换绝对路径

除此之外，urllib.parse 还提供了一个 urljoin() 函数，来将相对路径转换成绝对路径的 URL。

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import urljoin
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. print(urljoin('http://www.example.com/path/file.html', 'anotherfile.html'))
    4. 
  
  
  
  
  4. print(urljoin('http://www.example.com/path/', 'anotherfile.html'))
    5. 
  
  
  
  
  5. print(urljoin('http://www.example.com/path/file.html', '../anotherfile.html'))
    6. 
  
  
  
  
  6. print(urljoin('http://www.example.com/path/file.html', '/anotherfile.html'))
    7.

结果为：

 
 
 
 
    
  
  
  
  
  1. http://www.example.com/path/anotherfile.html
    2. 
  
  
  
  
  2. http://www.example.com/path/anotherfile.html
    3. 
  
  
  
  
  3. http://www.example.com/anotherfile.html
    4. 
  
  
  
  
  4. http://www.example.com/anotherfile.html 
    5.

查询参数的构造和解析

使用 urlencode() 函数可以将一个 dict 转换成合法的查询参数：

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import urlencode
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. query_args = {
    4. 
  
  
  
  
  4.  'name': 'dark sun',
    5. 
  
  
  
  
  5.  'country': '中国'
    6. 
  
  
  
  
  6. }
    7. 
  
  
  
  
  7.  
    8. 
  
  
  
  
  8. query_args = urlencode(query_args)
    9. 
  
  
  
  
  9. print(query_args)
    10.

结果为：

 
 
 
 
    
  
  
  
  
  1. name=dark+sun&country=%E4%B8%AD%E5%9B%BD
    2.

可以看到特殊字符也被正确地转义了。

相对的，可以使用 parse_qs() 来将查询参数解析成 dict。

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import parse_qs
    2. 
  
  
  
  
  2. print(parse_qs(query_args))
    3.

结果为：

 
 
 
 
    
  
  
  
  
  1. {'name': ['dark sun'], 'country': ['中国']}
    2.

如果只是希望对特殊字符进行转义，那么可以使用 quote 或 quote_plus 函数，其中 quote_plus 比 quote 更激进一些，会把 :、/ 一类的符号也给转义了。

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import quote, quote_plus, urlencode
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. url = 'http://localhost:1080/~hello!/'
    4. 
  
  
  
  
  4. print('urlencode :', urlencode({'url': url}))
    5. 
  
  
  
  
  5. print('quote :', quote(url))
    6. 
  
  
  
  
  6. print('quote_plus:', quote_plus(url))
    7.

结果为：

 
 
 
 
    
  
  
  
  
  1. urlencode : url=http%3A%2F%2Flocalhost%3A1080%2F%7Ehello%21%2F
    2. 
  
  
  
  
  2. quote : http%3A//localhost%3A1080/%7Ehello%21/
    3. 
  
  
  
  
  3. quote_plus: http%3A%2F%2Flocalhost%3A1080%2F%7Ehello%21%2F
    4.

可以看到 urlencode 中应该是调用 quote_plus 来进行转义的。

逆向操作则使用 unquote 或 unquote_plus 函数：

 
 
 
 
    
  
  
  
  
  1. from urllib.parse import unquote, unquote_plus
    2. 
  
  
  
  
  2.  
    3. 
  
  
  
  
  3. encoded_url = 'http%3A%2F%2Flocalhost%3A1080%2F%7Ehello%21%2F'
    4. 
  
  
  
  
  4. print(unquote(encoded_url))
    5. 
  
  
  
  
  5. print(unquote_plus(encoded_url))
    6.

结果为：

 
 
 
 
    
  
  
  
  
  1. http://localhost:1080/~hello!/
    2. 
  
  
  
  
  2. http://localhost:1080/~hello!/
    3.

你会发现 unquote 函数居然能正确地将 quote_plus 的结果转换回来。 

文章标题：使用Python的urlliib.parse库解析URL
文章转载：http://www.36103.cn/qtweb/news0/2700.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

用户体验知识

分类信息网站

防护网厂　　 　绵阳电信服务器托管　　 　古巴雪茄　　 　成都宣传海报　　 　成都主机托管　　 　网站设计制作报价　　 　快照排名　　 　力比特机械　　 　重庆水土三线托管　　 　网站seo优化　　 　成都酒店服定制　　 　高县网站建设　　 　四川网站建设　　 　自贡主机托管　　 　雪茄烟　　 　成都网站设计　　 　宣威网站建设　　 　江油做网站　　 　网站建设公司　　 　成都二枢机房