1. 开创可靠数据系统的未来 1.1. 数据作为一个行业很可能正在经历一场巨大且不可逆转的巨变 1.2. 分析型数据正变成现代企业最关键和最具竞争力的核心资产 1.2.1. 不再是公司是否依赖数据的问题 1.2.2. 是使用多少数据以及将数据用于什么场景的问题 1.3. 仅仅收集更多数据还是不够的， ...

你现在可以不懂，但以后面试的时候，必须要知道的三个关于自增主键的点 第一：唯一键冲突和事务回滚是导致自增主键不连续的两种大原因，此外批量插入数据的语句，MySQL 批量申请自增 id 的策略也是一个隐藏原因 第二：MySQL设计中不允许自增值回退的原因，主要是为了提升性能还有数据准确性。强调了自增主... ...

GreatSQL内存消耗异常排查攻略：从系统到应用层面的深入分析 当 GreatSQL 数据库处于高并发高负载时，可能会发现 mysqld 进程的内存消耗远远超出设置的 innodb_buffer_pool_size 时，有时候甚至会高达甚至超过系统内存的90%，遇到这种问题时，心里经常会发慌，担心 ...

1. 让元数据为业务服务 1.1. 在过去十多年中，数据团队越来越擅长收集大量的数据 1.2. 公司如今正在收集越来越多关于其数据的数据，也就是元数据 1.2.1. dbt等ETL解决方案让跟踪和使用元数据变得容易，而云服务提供商则使栈中数据解决方案之间的元数据的互操作性变得更加无缝 1.2.2.  ...

港口企业作为交通运输枢纽，需要借助数字化手段提升管理水平、优化生产流程、提高运营效率，以适应日益增长的业务量和竞争压力。为了指导各地智慧港口的建设工作，交通运输部等多部门联合发布了《智慧港口建设指南》，明确了智慧港口建设的目标、原则、路径及重点任务，为港口的数据化、智能化提供了具体指导。随着物联网、 ...

环境说明 Docker Windows 11 PostgreSql 17 搭建步骤 0. 宿主机准备： 找个地方创建一个文件夹用来挂载容器中数据库Data文件夹，这里我用的是： C:\Users\Administrator\docker\Postgresql\replication 1. 主数据库准 ...

Beekeeper Studio —— 一款跨平台 SQL 编辑器和数据库管理器，适用于 Linux、Mac 和 Windows，支持 MySQL、Postgres、SQLite、SQL Server 等多种数据库。 ...

使用复杂度高的命令 Redis提供了慢日志命令的统计功能 首先设置Redis的慢日志阈值，只有超过阈值的命令才会被记录，这里的单位是微妙，例如设置慢日志的阈值为5毫秒，同时设置只保留最近1000条慢日志记录： # 命令执行超过5毫秒记录慢日志 CONFIG SET slowlog-log-slowe ...

1. 要点 1.1. 实现数据质量不能纸上谈兵，而获得“可靠数据”取决于数据分析和工程实践中的其他几个要素 1.2. 数据网格以及数据质量适用的地方 1.3. 数据质量在基于云的数据栈旅程中的作用 1.4. 知识图谱是更易于访问数据的关键 1.5. 分布式数据架构下的数据发现 1.6. 何时开始进行 ...

上个文章介绍了动态LINQ库。 然后动态造了一个查询，示例如下： //ctx是EF的DbContext，字段Value是字符串类型 await ctx.Tables.Where("As(Value,\"DateTime?\")>@0",datetime).ToListAsync(); 上面的查询条件 ...

本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 ...

目录单项选择题不定项选择题判断题 单项选择题 以下描述中正确的是（ ）。 （传统）商务智能主要关注的是对“过去时间”的“解释性研究” （答案） 数据科学的主要处理对象以结构化数据为主 数据科学主要关注的是对“未来时间”的“诊断性研究” （传统）商务智能的主要处理对象以非结构化数据为主 与传统科学不同 ...

本手册将分为三部分发布，以帮助读者逐步深入理解数据仓库的设计与实践。 第一部分介绍数据仓库的整体架构概述； 第二部分深入讨论ETL在数仓中的应用理论，ODS层的具体实现与应用； 第三部分将围绕DW数据仓库层、ADS层和数据仓库的整体趋势展开； 通过这样的结构，您可以系统地学习每一层次的内容和设计原则 ...

GreatSQL 自动开启复制导致同步报错 1.背景概述 目前需要将生产数据恢复到一个单实例，再将单实例和生产节点配置主从关系，由于单表数据量较大，时间比较有限，考虑到导入导出的时间，并且GreatSQL支持XtraBackup备份恢复，能够加速数据的恢复，因此决定使用XtraBackup备份工具进 ...

1. 对数据进行认证 1.1. 数据认证是指在数据资产满足关于数据质量、可观测性、权责分配、问题解决和沟通等公司内共同遵守的SLA后，批准它们被用于整个组织的过程 1.2. 数据认证为人员、框架和技术构建了关键流程，使其与核心业务政策保持一致 1.3. 数据认证的要求会因业务需求、数据工程团队的能力 ...

引言 VTS（Vector Transport Service），全称向量传输服务，是一个由Zilliz开发的专注于向量和非结构化数据迁移的开源工具。VTS的核心特点在于其基于Apache SeaTunnel开发，这一事实使其在数据处理和迁移方面具有显著的优势。Apache SeaTunnel作为一 ...

Apache DolphinScheduler的JavaTask可以通过在任务执行日志中输出特定格式的参数来支持OUT参数的下游传输，通过捕捉日志并将其作为参数传递给下游任务。这种机制允许任务间的数据流动和通信，增强了工作流的灵活性和动态性。 那具体要怎么做呢？本文将进行详细的讲解。 0 修改一行源 ...

Kafka 概述 Kafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。 目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等 ...

当 Apache DolphinScheduler 运行几个月后，大部分朋友会发现 Logs 下的运行日志越来越多，这时可以考虑清理下 Logs/ 目录下的日志文件，比如设置只保留最近 3 天的日志，怎么操作呢？ 可以通过执行以下三个命令来实现： find ./logs -type f -mtime ...

搭建MySQL主从复制后，你会发现复制账号的密码是明文存储在mysq.mysql.slave_master_info这张系统表的User_password字段当中，早期MySQL版本中，账号密码存储在master.info文件中。如下案例所示： mysql> select * from mysql. ...