Doris的应用和实践

Doris的应用和实践

流量场景Doris可以通过HLL_RAW_AGG配合HLL_UNION_AGG做累加Doris支持按条件过滤,例如在10万poi_intent 历史数据回刷问题  流量数据,实时和离线在同事写入通一分区的时候相互会有影响,为了排除实时和历史同事写入造成的影响,历史单独写表。  优点:  BITMAP可以建Rollup ,离线导入速度较慢  Spark 任务需要计算全局字典,然后再计算导入任务。不同的场景下看数的需求和要求不一样流量数据量大,不能延

星火燎原 阅读:4023评论:2021-06-10

Doris权限设置

Doris权限设置

Privilege Doris权限管理Doris 新的权限管理系统参照了 Mysql 的权限管理机制,做到了表级别细粒度的权限控制,基于角色的权限访问控制,并且支持白名单机制。名词解释用户标识 user_identity在权限系统中,一个用户被识别为一个 User Identity(用户标识)。用户标识由两部分组成:username 和 userhost。其中 username 为用户名,由英文大小写组成。userhost 表示该用户链接来自的 IP。user_identity 以 userna

星火燎原 阅读:1560评论:2021-06-08

mysql实战一

mysql实战一

深入了解了 MySQL 数字类型在表结构设计中的实战。我总结一下今天的重点:不推荐使用整型类型的属性 Unsigned,若非要使用,参数 sql_mode 务必额外添加上选项 NO_UNSIGNED_SUBTRACTION;自增整型类型做主键,务必使用类型 BIGINT,而非 INT,后期表结构调整代价巨大;MySQL 8.0 版本前,自增整型会有回溯问题,做业务开发的你一定要了解这个问题;当达到自增整型类型的上限值时,再次自增插入,MySQL 数据库会报重复错误;不要再使用浮点类型 Float

星火燎原 阅读:920评论:2021-05-31

认识redis

认识redis

关系型和非关系型数据库区别:关系型数据库:可以进行复杂查询,可以用SQL语句方便在一个表以及多个表之间做非常复杂的数据结果,事务支持,使的对于安全性能很高的数据访问要求等以实现但是磁盘io性能低下,数据关系复杂,扩张性能查,不便于大规模集群非关系型数据库:NoSQL是基于键值对的存在的,储存内存当中不需要经过层层解析,可以提高性能,数据之间没有耦合性,容易水平扩展Nosql是泛指非关系型数据库,作为关系型数据库的补充。作用:应对基于海量用户和海量数据前提下的数据处理问题常见的Nosql数据库:R

阅读:1914评论:2021-05-27

【解决】client does not support authentication

【解决】client does not support authentication

  @ IDENTIFIED  mysql_native_password  ; 如果是其他用户 可以把root换成对应的用户名称

星火燎原 阅读:991评论:2020-08-30