Python 转化成 PB 格式数据

一、概述

Protocol Buffers 是 Google 公司开发的一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。

Protocol Buffers 简称为 protobuf 或 pb,下面是使用 python 解析 pb。

二、安装

  1. 下载目标语言的编译器:下载地址

  2. 安装:

    $ ./configure
    $ make
    $ sudo make install

  3. 验证安装:protoc --version,显示当前版本:libprotoc x.x.x

  4. 安装 Python 的 protobuf 库:pip install protobuf

三、使用

3.1 编译 proto 文件

Protobuf 语义清晰,无需类似 XML 解析器的东西(因为 Protobuf 编译器会将 .proto 文件编译生成对应的数据访问类以对 Protobuf 数据进行序列化、反序列化操作)。

protoc --python_out=./ ./文件名.proto  

这时会在当前目录生成一个与文件名同名的目录,该目录下会有一个 .py 文件。这个文件会用作模块、解析规则去解析 pb 的源数据。

3.2 解析 pb 的数据

1from test_pb import Test # 从刚才编译出来的 py 文件中 import 解析的类 2message = Test() 3with open('test.pb', 'rb') as fb: 4 pb_content = fb.read() # 如果文件很大,则要分批读取 5 # pb_content 是二进制的pb数据,如果是文件,则需要用 open 方法读取数据 6 message.ParseFromString(pd_content) 7print message

3.3 写入数据

1from test_pb import Test # 从刚才编译出来的 py 文件中 import 解析的类 2message = Test() 3message.name = 'hello world' # 赋值 4with open('test.pb', 'wb') as fb: 5 # 序列化,写入文件 6 fb.write(person.SerializeToString())

3.4 probuf 转 dict

当 probuf 的数据包含中文时,解析后对于阅读十分不友好。同时如果想要把 probuf 对象转化成 dict 进行后续操作的话。可以试试第三方库:protobuf-to-dict,这个库可以很方便的把 probuf 的数据转化成 dict。示例代码如下:

1from protobuf_to_dict import protobuf_to_dict 2my_message = MyMessage() 3# pb_my_message is a protobuf string 4my_message.ParseFromString(pb_my_message) 5protobuf_to_dict(my_message) 6# 输出:{'message': 'Hello'}

3.5 更多

这篇文章只是使用 python 简单的解析、序列化。更多细节以及原理推荐阅读Google Protocol Buffer 的使用和原理

四、错误

  • google.protobuf.message.DecodeError: Truncated message.:首先要保证 pb source 为二进制的数据,否则会出现各种非预期错误

五、参考

本文同步分享在 博客"削微寒的程序员之路"(CNBlog)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

点赞
收藏

评论区

加载中...

相关推荐

MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1

文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s

Oracle 分组与拼接字符串同时使用

SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(

MySQL部分从库上面因为大量的临时表tmp_table造成慢查询

背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_

皕杰报表之UUID

​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

2020年前端实用代码段,为你的工作保驾护航

有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )