关于bytes和bytearray

背景

• 平时工作因为有批量线上数据进行更新，通过Python程序连接数据库，利用连接池和gevent的并发性能，处理大量数据。
• 因为数据方提供的数据表结构中带有varbinary类型字段，并非全部，所以在使用Python程序时，导致报错

  TypeError: Object of type ‘bytes’ is not JSON serializable

经过多方查证了解到关于Python中bytes和bytearray两种类型区别

1. 关于bytearray类型的用法

• bytearray() 方法返回一个新字节数组。这个数组里的元素是可变的，并且每个元素的值范围: 0 <= x < 256

bytearray()
bytearray(整数n)
bytearray(整型可迭代对象) #可迭代tuple list 整型
bytearray(b‘字符串‘)
bytearray(字符串, encoding=‘utf-8‘) # 必须指定编码格式

2. bytearray常用方法

3 bytes、bytearray与str之间的区别

bytes是byte的序列，而str是unicode的序列。

str 使用encode方法转化为 bytes

bytes通过decode转化为str

• str转换成bytes：

  字节串bytes、字节数组bytearray是二进制数据组成的序列，其中每个元素由8bit二进制（同1byte，同2位16进制数，同0~255）组成。

  字节数计算机的语言，字符串是人类的语言，他们之间通过编码表形成一一对应关系。

  最小的 ASCII 编码表只需要一位字节，且只占用了其中 [31,127] 的码位；

  str 存储unicodel 6字符(0~65535)

bytes/bytearry = str.encode(encoding="utf-8")

str = bytes/bytearray.decode(encoding="utf-8")

• encode：编码，decode：解码

4. 在网上找到一种处理json数据为bytearray的方法

import scipy.io as sio
import os
import json
import numpy as np

load_fn = ‘2%.mat‘
load_data = sio.loadmat(load_fn)
print(load_data.keys())

class MyEncoder(json.JSONEncoder):
    def default(self, obj):
        if isinstance(obj, np.ndarray):
            return obj.tolist()
        elif isinstance(obj, bytes):
            return str(obj, encoding=‘utf-8‘);
        return json.JSONEncoder.default(self, obj)

save_fn = os.path.splitext(load_fn)[0] + ‘.json‘
file = open(save_fn,‘w‘,encoding=‘utf-8‘);
file.write(json.dumps(load_data,cls=MyEncoder,indent=4))
file.close()

该方法适用于整个json为bytearray类型时使用，利用instance和numpy中的nd.array类型来判断对象类型，自定义修改json.dumps的继承类，来进行转换