伦理准则涵盖公平、尊重等，数据处理需遵循伦理，保护数据质量，防止滥用，业务需合伦理以提升可信度，数据隐私法保障个人权利，建立数据伦理文化，数据治理确保合规。 ...
背景 Redis 大 key 分析工具主要分为两类： 1. 离线分析 基于 RDB 文件进行解析，常用工具是 redis-rdb-tools（https://github.com/sripathikrishnan/redis-rdb-tools）。 不过这个工具已近 5 年未更新，不支持 Redis ...
8-2 MySQL 索引的设计原则(超详细说明讲解) @目录8-2 MySQL 索引的设计原则(超详细说明讲解)1. 测试数据准备2. 哪些情况适合创建索引2.1 字段的数值有唯一性的限制2.2 频繁作为 WHERE 查询条件的字段2.3 经常 GROUP BY 和 ORDER BY 的列2.4 U ...
数据管理涵盖数据优化、元数据管理、多角度思考、生命周期管理、风险管理、领导力及战略制定，需确保数据质量、安全并降低风险，利用DAMA框架等指导数据管理实践。 ...
4. MySQL 逻辑架构说明 @目录4. MySQL 逻辑架构说明1. 逻辑架构剖析1.1 服务器处理客户端请求1.2 Connectors(连接器)1.3 第1层：连接层1.4 第2层：服务层1.5 第3层：引擎层1.6 存储层2. SQL执行流程2.1 MySQL 中的 SQL 执行流程2.2 ...
数据管理对企业至关重要，需规划、协作和领导力，确保数据质量和隐私，支撑企业决策和运营，数据是组织资产，需全生命周期管理，高质量数据带来竞争优势。 ...
近期工作涉及到数据流通、隐私计算、数据切片、可行管控等，这块确实是知识盲区，抓紧去研究学习了下。 场景一：蛋糕店老板的烦恼 假设你开了一家连锁蛋糕店，每天产生海量数据：北京分店的草莓蛋糕销量、上海顾客的提拉米苏评价、深圳仓库的奶油库存...这些数据就像整个大蛋糕，直接吞下去会噎着。 数据切片就像精准 ...
一、补数机制的定义与挑战 补数（Backfill） 指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时，重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中，补数机制需解决三大核心挑战： 复杂依赖链重建：需精准识别历史时间段内任务上下游关系，避免因时间窗口错位导致数据逻辑混乱 ...
2. MySQL的数据目录(详解讲解) @目录2. MySQL的数据目录(详解讲解)1. MySQL8 的主要目录结构1.1 相关命令目录1.2 配置文件目录2. 数据库和文件系统的关系2.1 查看默认数据库2.2 数据库在文件系统中的表示3. 表在文件系统中的表示3.1 InnoDB存储引擎模式3 ...
【GreatSQL优化器-15】index merge 一、index merge介绍 GreatSQL的优化器的Index Merge Optimization是查询优化器在处理复杂查询时使用的一种高级技术。当查询的 WHERE 子句中有多个独立的条件，且每个条件都可以使用不同的索引时，优化器会尝 ...
title: 三大平台云数据库生态服务对决 date: 2025/2/21 updated: 2025/2/21 author: cmdragon excerpt: 包含自动分片算法实现、跨云迁移工具链开发、智能索引推荐系统构建等核心内容，提供成本优化计算模型、灾备演练方案设计、性能调优路线图等完整 ...
title: 分布式数据库解析 date: 2025/2/20 updated: 2025/2/20 author: cmdragon excerpt: 通过金融交易、社交平台、物联网等9大真实场景，结合Google Spanner跨洲事务、DynamoDB毫秒级扩展等38个生产级案例，揭示分布式数 ...
应客户要求，需要同步数据到他们自己的数据库用于简单的数据分析，但这部分数据在postgresql，客户又不想再建pg，想直接同步到他们现有的mysql库，实时性倒是不要求。 考虑到 1、异构数据库同步 2、只同步指定客户的行数据 有之前同步到es的经验，同样使用了腾讯oceanus，其它工具没搞定 ...
测试了多个方案同步，最终选择oceanu产品，底层基于Flink cdc 1、实时性能够保证，binlog量很大时也不产生延迟 2、配置SQL即可完成，操作上简单 下面示例mysql的100张分表实时同步到es，优化备注等文本字段的like查询 创建SQL作业 CREATE TABLE from_m ...
趋势特征是业务人员比较青睐的特征，其中涉及到连续变化期数，例如连续增大、减少期数等。这里写一下可以实现的思路。 1.使用变量 这个方法在我常用的sql平台中只有mysql支持。pgsql和hive无法实现。 在查询里声明select @var:=0,通过逻辑语句将起始位置置1，连续行处递增，和结束位 ...
1. Linux下 MySQL 的详细安装与使用 @目录1. Linux下 MySQL 的详细安装与使用1. Linux 下安装 MySQL8.0 的详细安装步骤：2. Linxu 当中的MySQL 设置远程登录3. 最后： 1. Linux 下安装 MySQL8.0 的详细安装步骤： 查看是否安装 ...
深度对比：PostgreSQL 和 SQL Server 在统计信息维护中的关键差异 数据库统计信息的作用 在数据库系统中，查询优化在决定应用程序性能方面起着至关重要的作用。 高效的查询依赖于最新的数据库统计信息，这些统计信息帮助数据库的查询优化器选择最佳的执行计划。在PostgreSQL和MySQ ...
title: 深入解析NoSQL数据库：从文档存储到图数据库的全场景实践 date: 2025/2/19 updated: 2025/2/19 author: cmdragon excerpt: 通过电商、社交网络、物联网等12个行业场景，结合MongoDB聚合管道、Redis Stream实时处理 ...
【GreatSQL优化器-14】直方图应用 一、直方图介绍 GreatSQL的优化器负责将SQL查询转换为尽可能高效的执行计划，但因为数据环境不断变化有可能导致优化器对查询数据了解不够充足，可能无法生成最优的执行计划进而影响查询效率，因此推出了直方图(histogram)功能来解决该问题。 直方图用 ...
只需简单5步，Ansible脚本自动搭建AlwaysOn集群（已测试通过，可实际运行） 之前已经介绍过这套脚本，请看下面↓ 一分钟搞定！CentOS 7.9上用Ansible自动化部署SQL Server 2019 注意： 这套ansible脚本不支持RHEL 7.X 和CentOS7.X系统! 这 ...
