本次共找到 28pb 相关的文章

4年前
PB级海量数据服务平台架构设计实践
基于PB级海量数据实现数据服务平台,需要从各个不同的角度去权衡,主要包括实践背景、技术选型、架构设计,我们基于这三个方面进行了架构实践,下面分别从这三个方面进行详细分析讨论:实践背景该数据服务平台架构设计之初,实践的背景可以从三个维度来进行说明:当前现状、业务需求、架构需求,分别如下所示:当前现状收集了当前已有数据、分工、团队
4年前
stm32的I2C实验
使用stm32工程模板,移植其他人使用0.96寸的Oled代码,在OLED上显示字符,使用的引脚是PB3和PB4,是用了重映射的引脚这里使用的IC是stm32f103vet6,软件是keil5百度网盘链接:https://pan.baidu.com/s/1xFrQsbjuPpt2DRcLkoDnjA提取码:wzya包含keil5工程和取字模
3年前
某易云微专业-大数据开发工程师
链接:https://pan.baidu.com/s/1bXsvtYrnMlW9loxNiDVNHA?pwde29r提取码:e29r课程简介:企业级数据仓库建设,PB级历史数据离线计算,毫秒级低延迟实时计算!!!学习大数据,成就百万年薪,真实五个大厂大数据
4年前
TKE 用户故事 - 作业帮 PB 级低成本日志检索服务
作者吕亚霖,2019年加入作业帮,作业帮架构研发负责人,在作业帮期间主导了云原生架构演进、推动实施容器化改造、服务治理、GO微服务框架、DevOps的落地实践。莫仁鹏,2020年加入作业帮,作业帮高级架构师,在作业帮期间,推动了作业帮云原生架构演进,负责作业帮服务治理体系的设计和落地、服务感知体系建设以及自研mesh、MQproxy研发工作。摘要日志是服务
4年前
PB级数据实时分析,ClickHouse到底有多彪悍?
导语|ClickHouse是俄罗斯开源的OLAP数据库,以彪悍的性能著称。开源5年以来,以性能优异、简单易用的特点,吸引了大量的用户群体。本文是对腾讯云ClickHouse研发负责人彭健老师在云社区沙龙online的分享整理,帮助大家进一步理解ClickHouse的彪悍性能。_点击视频,查看完整直播回放_(https://www.oschina
4年前
Apache Ignite核心特性介绍(2.5.0版)
1.摘要1.1.Ignite是什么?ApacheIgnite是一个以内存为中心的分布式数据库、缓存和处理平台,支持事务、分析以及流式负载,可以在PB级数据上享有内存级的性能。!(https://ignite.apache.org/images/durablememory.png)1.1
4年前
ElasticSearch(增put、删delete、改(本质是先删除后添加)post、查get、post)
一、ElasticSearch简介1.1什么是ElasticSearchElasticSearch,简称es,es是一个开源的高扩展的分布式全文搜索引擎,可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理pb级别的数据。es也使用java开发并使用Lucene作为其核心来实现所有索
4年前
C++下LuaPB协议升级
使用LuaTable解码编码PB协议,效率比较低,主要是因为需要lua内部字符串比较和跨lua和c之间的Int解码操作,比较消耗如果从C部分,直接访问lua虚拟机内部的Table数据结构,以及使用lua字符串自带的hash值,来做比较,效率会有比较大提升例如原始需要5000ms处理编码一个Luatable为PB,在纯C
4年前
AnalyticDB for MySQL:PB级云数仓核心技术和场景解析
2019阿里云峰会·上海开发者大会于7月24日盛大开幕,本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货,共同探讨前沿科技趋势。本文整理自数据库专场中阿里云智能高级技术专家南仙的精彩演讲,本文为分享了阿里云PB级云数据仓库AnalyticDBforMySQL的核心技术以及其应用场景。数据
4年前
Python 转化成 PB 格式数据
一、概述ProtocolBuffers是Google公司开发的一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或RPC数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。ProtocolBuffers简称为protobuf或pb,下面
4年前
Apache Hudi和Presto的前世今生
一篇由ApacheHudiPMCBhavaniSudhaSaktheeswaran和AWSPresto团队工程师BrandonScheller分享ApacheHudi和Presto集成的一篇文章。1\.概述ApacheHudi是一个快速迭代的数据湖存储系统,可以帮助企业构建和管理PB级数据湖,Hudi通过引入up
4年前
Dubbo 序列化协议 5 连问,你接得住不?
编辑|Java之间来源| www.toutiao.com/i6745361206137061895/1)dubbo支持哪些通信协议?2)支持哪些序列化协议?3)说一下Hessian的数据结构?4)PB知道吗?5)为什么PB的效率是最高的?面试官心理分析上一个问题,说说dubbo的基本工作原理,那是
4年前
Presto在滴滴的探索与实践
!(https://oscimg.oschina.net/oscnet/880cd41883544eb1be01de38a3471372.png)桔妹导读:Presto在滴滴内部发展三年,已经成为滴滴内部AdHoc和HiveSQL加速的首选引擎。目前服务6K用户,每天读取2PB~3PBHDFS数据,处理30万亿~3
4年前
Dubbo 支持哪些序列化协议?
面试题dubbo支持哪些通信协议?支持哪些序列化协议?说一下Hessian的数据结构?PB知道吗?为什么PB的效率是最高的?面试官心理分析上一个问题,说说dubbo的基本工作原理,那是你必须知道的,至少要知道dubbo分成哪些层,然后平时怎么发起rpc请求的,注册、发现、调用,这些是基本的。接着
4年前
PB级大规模Elasticsearch集群运维与调优实践
导语|腾讯云Elasticsearch被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中,本文将以情景植入的方式,向大家介绍与腾讯云客户合作过程中遇到的各种典型问题,以及相应的解决思路与方法,希望与大家一同交流。文章作者:bellen,腾讯云大数据研发工程师。​一、背景某中型互联网公司的游戏业务,使用了
4年前
K8s日志系统建设的6个典型问题
!(https://oscimg.oschina.net/oscnet/89cb26f33c8a4f13aedcd2ef69a4a634.jpg)作者| 元乙 阿里云日志服务数据采集客户端负责人,目前采集客户端logtail在集团百万规模部署,每天采集上万应用数PB数据,经历多次双11、双12考验。导读:
2年前
效率起飞!天翼云并行文件服务HPFS高效应对AI时代大模型训练存储挑战!
国内外AI大模型层出不穷,训练数据复杂程度更是呈指数级增加。如今,在万亿级参数时代,单个资源池已无法满足大模型训练场景中动辄PB级的数据存储量,对于企业来说,启用多个资源池构成的分布式存储势在必行。
  • 1
  • 2
  • Go toPage