如何限制用户修改long_query_time 需求来源 数据库的 long_query_time 设置了写入慢查询日志的SQL语句执行时长的阈值，当应用系统修改为很小的值或0时，会在数据库的慢查询日志中记录大量SQL语句，导致数据库性能降低和占用磁盘空间的快速增长。 GreatSQL 对于影响整个 ...

1. 数据库直连 1.1. 数据可以通过网络连接直接从数据库中通过查询和读取的方式来获取 1.2. 使用ODBC或JDBC进行的 1.2.1. JDBC和ODBC长期以来是数据库数据获取的黄金标准，但对于许多数据工程应用程序来说，这些连接标准已经开始显示出它们年头已久 1.2.2. 许多数据库现在支 ...

在之前的文章中，我们已经介绍了Apache DolphinScheduler海豚调度的基本概念和工作流程，以及Shell任务和SQL任务的实践。感兴趣的朋友可以下滑到最下面，点击感兴趣的文章阅读！ 今天，让我们来学习Apache DolphinScheduler中的另一个重要功能：钉钉告警。 钉钉群 ...

本期，我们更新和优化了数据资产平台相关功能，为您提供更高效的产品能力。以下为第12期袋鼠云产品功能更新报告，请继续阅读。 一、【元数据】重点更新 ｜01 元数据管理优化，支持配置表生命周期 之前系统中缺少一个可以基于数据源和数据库维度，批量配置数据表生命周期的入口，导致用户在处理大量数据表时会非常耗 ...

在当今时代，AI 的发展如汹涌浪潮，其速度之快超越了任何历史时期。它以前所未有的迅猛之势，渗入到各个领域的不同场景之中，悄然重塑着商业模式与人们的生活方式。 在 AI 逐渐成为企业基础属性的背景下，袋鼠云举办秋季发布会，以“AI驱动，数智未来”为主题，旨在深度探讨如何凭借 AI 实现新的飞跃，重塑企 ...

好消息！社区最近迎来了一位印度籍 Committer——穆罕默德·阿尔沙德（Mohammad Arshad）！ 阿尔沙德来自班加罗尔，现任 Visa 公司数据工程师（高级顾问级别），在大数据领域拥有丰富的经验。作为全球最大的支付处理公司之一，Visa 在印度的数字支付和金融科技领域占有重要地位。 阿 ...

1. 批量获取的考虑因素 1.1. 批量获取，通常是获取数据的一种便捷方式 1.1.1. 通过从源系统中抽取一个数据子集，根据时间间隔或累积数据的大小来获取数据 1.2. 基于时间间隔的批量获取在传统ETL的数据仓库中很普遍 1.2.1. 每天在非工作时间（也可以按其他频率）处理一次数据，目的是提供 ...

背景 Dolphinscheduler针对YARN任务，比如说MR、Spark、Flink，甚至是Shell任务，最初都是会判断如果有YARN任务，解析到applicationId。这样就会不单单以判断客户端进程为单一判断依据，还要根据YARN状态进行最终的Dolphinscheduler任务状态判 ...

在 MySQL 的日常管理过程中，大家或多或少会遇到权限认证相关的问题。 例如，本来能够正常执行的操作，可能在新增一个账号或授权后就突然失败了。 这种现象往往让人误以为是 bug，但很多时候，其实并不是。 下面，将通过两个案例来阐明 MySQL 权限认证中的具体优先原则，并在此基础上，分析以下问题： ...

老司机带你聊聊向量数据库 引言 随着人工智能、大数据技术的发展，传统数据库已经难以满足某些复杂应用场景的需求，尤其是在图像、语音、文本等非结构化数据的处理上，传统的精确匹配方式已经显得力不从心。 最近几年，向量数据库应运而生，成为了热门话题。向量数据库的核心优势在于它可以通过将数据转化为高维向量，在 ...

1. 有边界与无边界数据 1.1. 无边界数据是现实中存在的数据，是事件发生时的数据，要么是间断的，要么是连续的、持续的和流动的 1.2. 有边界数据是跨越某种边界（如时间）对数据进行归类的一种便捷方式 1.2.1. 所有的数据在有边界之前都是无边界的 1.3. 长期以来，业务流程通过切割离散的批次 ...

在PostgreSQL和SQLServer中，有一个共同的特点，相比如物理复制，逻辑复制可能会存在较多的一些细节和可能错误的发生，作为SQLServer Replication（逻辑复制）的深度用户，有必要深入学习试验一下PostgreSQL的逻辑复制的一些细节。 订阅端的主要订阅选项信息 crea ...

原文地址：https://www.pgedge.com/blog/postgresql-16-logical-replication-improvements-in-action 我之前简要介绍了PostgreSQL中的复制方法，并概述了PostgreSQL 16中逻辑复制的一些关键特性。在这篇博客 ...

1. 数据获取 1.1. 数据获取是将数据从一个地方移动到另一个地方的过程 1.1.1. 数据获取与系统内部获取是不同的 1.2. 数据获取是数据工程生命周期中将数据从源系统移入存储的一个中间步骤 1.3. 数据集成则是将来自不同来源系统的数据组合到一个新的数据集 1.4. 数据获取的核心是数据管道 ...

1. sql高级 1.1. 索引与视图 1.1.1. 常见的数据结构 1.1.2. 索引 1.1.2.1. 作用 1.1.2.2. 定义 1.1.2.3. 分类 1.1.2.4. 设计原则 1.1.2.5. 语法 1.1.3. 视图 1.2. 事务与锁 1.2.1. 事务的原理 1.2.2. 事务的 ...

1. 数据工程存储抽象 1.1. 数据工程存储抽象是数据组织和查询模式，位于数据工程生命周期的核心，建立在之前讨论的数据存储系统之上 1.2. 关键的考虑 1.2.1. 目的和用例 1.2.1.1. 必须首先确定存储数据的目的 1.2.2. 更新模式 1.2.2.1. 是否针对批量更新、流式插入或上 ...

这个找回Wordpress后台密码密的方法，前提是，可以操作数据。 最近忘记了极客侠网站登陆密码，还是按照以前的方法，进入数据库直接修改数据库， 但是现在wordpress密码的加密不是简单的MD5所以不能用一个md5加密好的密码去替换数据库， 这里的关键所在就是不知道现在的加密方式， 于是又百度了 ...

工具分享丨数据闪回工具MyFlash 在当今数字化的时代，数据已经成为了企业和个人最宝贵的资产之一。数据不仅仅是简单的信息集合，它更是决策的依据、业务的支撑以及创新的源泉。 数据丢失是一种极其危险且令人头疼的情况。想象一下，企业因系统故障、人为误操作或遭受恶意攻击而丢失了关键的业务数据，这可能导致业 ...

前瞻性技术通常具有创新性，并受到早期采用者的欢迎，从而提供一定的商业价值。 说到数据集成，有人可能会质疑这有什么好讨论的——这不就是简单的 ETL 吗？从各种数据库中提取数据，进行转换，最后加载到不同的数据仓库中。 随着大数据、数据湖、实时数仓、大规模模型等的兴起，数据集成架构从数据仓库时代的ETL ...

1. 对象存储 1.1. 对象存储包含各种形状和大小的对象 1.1.1. Amazon S3、Azure Blob Storage和Google Cloud Storage(GCS)是广泛使用的对象存储 1.1.2. 许多云数据仓库（以及越来越多的数据库）利用对象存储作为其存储层，而云数据湖通常位于 ...