聊聊 Jmeter 如何并发执行 Python 脚本

本文转载自微信公众号「AirPython」，作者星安果。转载本文请联系AirPython公众号。

目前成都创新互联公司已为1000+的企业提供了网站建设、域名、雅安服务器托管、网站托管维护、企业网站设计、神农架林区网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

1. 前言

大家好，我是安果!

最近有小伙伴后台给我留言，说自己用 Django 写了一个大文件上传的 Api 接口，现在想本地检验一下接口并发的稳定性，问我有没有好的方案

本篇文章以文件上传为例，聊聊 Jmeter 并发执行 Python 脚本的完整流程

2. Python 实现文件上传

大文件上传包含 3 个步骤，分别是：

  • 获取文件信息及切片数目
  • 分段切片，并上传 - API
  • 文件合并 - API
  • 文件路径参数化

2-1 获取文件信息及切片数目

首先，获取文件的大小

然后，利用预设的切片大小获取分段总数

最后，获取文件名及 md5 值

 
 
 
      
  
  
  1. import os 
    2.   
  
  
  2. import math 
    3.   
  
  
  3. import hashlib 
    4.   
  
  
  4.  
    5.   
  
  
  5. def get_file_md5(self, file_path): 
    6.   
  
  
  6.     """获取文件的md5值""" 
    7.   
  
  
  7.     with open(file_path, 'rb') as f: 
    8.   
  
  
  8.          data = f.read() 
    9.   
  
  
  9.          return hashlib.md5(data).hexdigest() 
    10.   
  
  
  10.  
    11.   
  
  
  11. def get_filename(self, filepath): 
    12.   
  
  
  12.     """获取文件原始名称""" 
    13.   
  
  
  13.     # 文件名带后缀 
    14.   
  
  
  14.     filename_with_suffix = os.path.basename(filepath) 
    15.   
  
  
  15.     # 文件名 
    16.   
  
  
  16.     filename = filename_with_suffix.split('.')[0] 
    17.   
  
  
  17.     # 后缀名 
    18.   
  
  
  18.     suffix = filename_with_suffix.split('.')[-1] 
    19.   
  
  
  19.     return filename_with_suffix, filename, suffix 
    20.   
  
  
  20.  
    21.   
  
  
  21. def get_chunk_info(self, file_path): 
    22.   
  
  
  22.     """获取分段信息""" 
    23.   
  
  
  23.     # 获取文件总大小(字节) 
    24.   
  
  
  24.     file_total_size = os.path.getsize(file_path) 
    25.   
  
  
  25.     print(file_total_size) 
    26.   
  
  
  26.  
    27.   
  
  
  27.     # 分段总数 
    28.   
  
  
  28.     total_chunks_num = math.ceil(file_total_size / self.chunk_size) 
    29.   
  
  
  29.     # 文件名（带后缀） 
    30.   
  
  
  30.     filename = self.get_filename(file_path)[0] 
    31.   
  
  
  31.     # 文件的md5值 
    32.   
  
  
  32.     file_md5 = self.get_file_md5(file_path) 
    33.   
  
  
  33.     return file_total_size, total_chunks_num, filename, file_md5 
    34.

2-2 切片及分段上传

利用分段总数和分段大小，对文件进行切片，调用分段文件上传接口

 
 
 
      
  
  
  1. import requests 
    2.   
  
  
  2.  
    3.   
  
  
  3. def do_chunk_and_upload(self, file_path): 
    4.   
  
  
  4.     """将文件分段处理，并上传""" 
    5.   
  
  
  5.     file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(file_path) 
    6.   
  
  
  6.  
    7.   
  
  
  7.     # 遍历 
    8.   
  
  
  8.     for index in range(total_chunks_num): 
    9.   
  
  
  9.         print('第{}次文件上传'.format(index + 1)) 
    10.   
  
  
  10.         if index + 1 == total_chunks_num: 
    11.   
  
  
  11.             partSize = file_total_size % chunk_size 
    12.   
  
  
  12.         else: 
    13.   
  
  
  13.             partSize = chunk_size 
    14.   
  
  
  14.  
    15.   
  
  
  15.         # 文件偏移量 
    16.   
  
  
  16.         offset = index * chunk_size 
    17.   
  
  
  17.  
    18.   
  
  
  18.         # 生成分片id,从1开始 
    19.   
  
  
  19.         chunk_id = index + 1 
    20.   
  
  
  20.  
    21.   
  
  
  21.         print('开始准备上传文件') 
    22.   
  
  
  22.         print("分片id:", chunk_id, "文件偏移量：", offset, ",当前分片大小:", partSize, ) 
    23.   
  
  
  23.  
    24.   
  
  
  24.         # 分段上传文件 
    25.   
  
  
  25.         self.__upload(offset, chunk_id, file_path, file_md5, filename, partSize, total_chunks_num) 
    26.   
  
  
  26.  
    27.   
  
  
  27. def __upload(self, offset, chunk_id, file_path, file_md5, filename, partSize, total): 
    28.   
  
  
  28.     """分次上传文件""" 
    29.   
  
  
  29.     url = 'http://**/file/brust/upload' 
    30.   
  
  
  30.     params = {'chunk': chunk_id, 
    31.   
  
  
  31.                 'fileMD5': file_md5, 
    32.   
  
  
  32.                 'fileName': filename, 
    33.   
  
  
  33.                 'partSize': partSize, 
    34.   
  
  
  34.                 'total': total 
    35.   
  
  
  35.                 } 
    36.   
  
  
  36.     # 根据文件路径及偏移量，读取文件二进制数据 
    37.   
  
  
  37.     current_file = open(file_path, 'rb') 
    38.   
  
  
  38.     current_file.seek(offset) 
    39.   
  
  
  39.  
    40.   
  
  
  40.     files = {'file': current_file.read(partSize)} 
    41.   
  
  
  41.     resp = requests.post(url, params=params, files=files).text 
    42.   
  
  
  42.     print(resp) 
    43.

2-3 合并文件

最后调用合并文件的接口，将分段小文件合成大文件

 
 
 
      
  
  
  1. def merge_file(self, filepath): 
    2.   
  
  
  2.         """合并""" 
    3.   
  
  
  3.         url = 'http://**/file/brust/merge' 
    4.   
  
  
  4.         file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(filepath) 
    5.   
  
  
  5.         payload = json.dumps( 
    6.   
  
  
  6.             { 
    7.   
  
  
  7.                 "fileMD5": file_md5, 
    8.   
  
  
  8.                 "chunkTotal": total_chunks_num, 
    9.   
  
  
  9.                 "fileName": filename 
    10.   
  
  
  10.             } 
    11.   
  
  
  11.         ) 
    12.   
  
  
  12.         print(payload) 
    13.   
  
  
  13.         headers = { 
    14.   
  
  
  14.             "Content-Type": "application/json" 
    15.   
  
  
  15.         } 
    16.   
  
  
  16.         resp = requests.post(url, headers=headers, data=payload).text 
    17.   
  
  
  17.         print(resp) 
    18.

2-4 文件路径参数化

为了并发执行，将文件上传路径参数化

 
 
 
      
  
  
  1. # fileupload.py 
    2.   
  
  
  2. ... 
    3.   
  
  
  3. if __name__ == '__main__': 
    4.   
  
  
  4.     filepath = sys.argv[1] 
    5.   
  
  
  5.  
    6.   
  
  
  6.     # 每一段切片的大小(MB) 
    7.   
  
  
  7.     chunk_size = 2 * 1024 * 1024 
    8.   
  
  
  8.  
    9.   
  
  
  9.     fileApi = FileApi(chunk_size) 
    10.   
  
  
  10.     # 分段上传 
    11.   
  
  
  11.     fileApi.do_chunk_and_upload(filepath) 
    12.   
  
  
  12.  
    13.   
  
  
  13.     # 合并 
    14.   
  
  
  14.     fileApi.merge_file(filepath) 
    15.

3. Jmeter 并发执行

在使用 Jmeter 创建并发流程前，我们需要编写批处理脚本

其中，执行批处理脚本时，需要跟上文件路径一起执行

 
 
 
      
  
  
  1. # cmd.bat 
    2.   
  
  
  2.  
    3.   
  
  
  3. @echo off 
    4.   
  
  
  4. set filepath=%1 
    5.   
  
  
  5.  
    6.   
  
  
  6. python  C:\Users\xingag\Desktop\rpc_demo\fileupload.py %* 
    7.

然后，在本地新建一个 CSV 文件，写入多个文件路径

 
 
 
      
  
  
  1. # 准备多个文件路径（csv） 
    2.   
  
  
  2. C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi 
    3.   
  
  
  3. C:\\Users\\xingag\\Desktop\\V2.0.pdf 
    4.   
  
  
  4. C:\\Users\\xingag\\Desktop\\HBuilder1.zip 
    5.   
  
  
  5. C:\\Users\\xingag\\Desktop\\HBuilder2.zip 
    6.

接着，就可以使用 Jmeter 创建并发流程了

完整步骤如下：

  • 创建一个测试计划，下面添加一个线程组

这里线程组数目与上面文件数目保持一致即可

  • 线程组下，添加「 同步定时器 」

同步定时器中的「 模拟用户组的数量 」和上面参数数量保持一致

  • 添加 CSV 数据文件设置

指向上面准备的 csv 数据文件，设置文件格式为 UTF-8，变量名称设置为 file_path，最后将线程共享模式设置为「 当前线程组 」

  • 添加调试取样器，方便调试
  • 添加 OS 进程取样器

选择上面创建的批处理文件，命令行参数设置为「 ${file_path} 」

  • 添加查看结果数

4. 最后

运行上面创建的 Jmeter 并发流程，在结果数中可以查看并发上传文件的结果

当然，我们可以增加并发数量去模拟真实的使用场景，只需要修改 CSV 数据源及 Jmeter 参数即可

名称栏目：聊聊 Jmeter 如何并发执行 Python 脚本
URL标题：http://www.36103.cn/qtweb/news27/26677.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

python知识

分类信息网

网站设计公司　　 　四川搅拌罐车　　 　成都微信开发　　 　成都响应式网站建设　　 　重庆教育培训网站建设　　 　云服务器　　 　企业网站设计　　 　成都全网营销　　 　雅安电信机房　　 　西部信息机房　　 　彭州网站建设　　 　兴发搬家　　 　四川平武网站建设　　 　内江做网站　　 　广汉长尔科技　　 　营销型网站建设　　 　成都微信公众号开发　　 　德阳东方电机技改　　 　艾瑞格衣柜　　 　腾讯香港虚拟主机