各位热爱 SeaTunnel 的小伙伴们，9月份社区月报来啦！这里将定期更新SeaTunnel社区每个月的重大进展，欢迎关注！ 月度Merge Stars 感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献（排名不分先后）： @ZhangWeike2000,@wuchunfu,@ ...

今天，hr见到你简历上写过“搭建过mysql主从，有使用的经验” 突然兴致来了一句“你在搭建的时候，如何判断要主备库切换，说一下你的理解” 我重生了，回到了面试的前一分钟，上一世，我没能回答这个问题，这一世，我将。。。。（编不下去了） 哎，你可以说用select 1 判断，但他成功返回并不能说明主库... ...

通过MySQL Workbench 将 SQL Server 迁移到GreatSQL 一、概述 MySQL Workbench 提供了可以将Microsoft SQL Server的表结构和数据迁移到 GreatSQL 的功能，此次将通过MySQL Workbench将SQL Server的数据迁移 ...

概览 索引是一种数据结构，用于帮助我们在大量数据中快速定位到我们想要查找的数据。 索引好比一本好书的目录页，需要查询某个章节直接在目录页查找，然后打开响应页数。 但索引也不是就快，如果章节少，那就直接翻开书找即可很快找到，只有章节非常多时，我们就可以利用索引快速找到。 所以，如果想让索引发挥出其真正 ...

笔者在最近的项目开发中，频繁地遇到了 Java 类型与 JDBC 类型之间的转换问题： 1、数据库的 varchar 类型字段，需要存储 Java 实体中的 JSON 字符串； 2、数据库的 int 类型字段，需要存储 Java 实体中的 Enum 枚举。 ...

1. 数据工程生命周期 1.1. 数据领域正在经历新数据技术和实践的爆炸式增长，抽象程度和易用性不断提高 1.2. 由于技术抽象程度的增加，数据工程师将越来越多地成为数据生命周期工程师，根据数据生命周期管理的原则来进行思考和操作 1.3. 数据工程生命周期包括将原始数据成分转化为有用的最终产品的阶段 ...

MySQL的基本语法（增，删，改，查） MySQL中的（增）操作 创建数据库 CREATE DATABASE 库名; 例如： CREATE DATABASE db; 创建一个名为db的数据库。 创建列表 use 数据库名; CREATE TABLE 表名( 字段名1 数据类型1, 字段名2 数据类型 ...

本文为Apache SeaTunnel Socket Connector的使用文档，旨在帮助用户快速理解和有效利用Socket Connector，助力用户的应用程序实现高效、稳定的网络通信。 Socket是应用层与TCP/IP协议族之间进行通信的中间软件抽象层，它是网络编程的基础，通过Socket ...

本文详细分析了GaussDB (for MySQL) 在不同层级的流控机制，包括反馈式流控在存储层和计算层的策略和流程，以及计算节点的主动平滑流控的方案。 ...

从SQL Server过渡到PostgreSQL：理解模式的差异 前言 随着越来越多的企业转向开源技术，商业数据库管理员和开发者也逐渐面临向PostgreSQL迁移的需求。 虽然SQL Server和PostgreSQL共享许多数据库管理系统（RDBMS）的基本概念，但它们在处理某些结构上的差异可能 ...

1. 背景和技能 1.1. 数据工程是一个快速发展的领域，关于如何成为一名数据工程师仍然存在很多问题 1.2. 进入数据工程领域的人在教育、职业和技能方面有着不同的背景 1.2.1. 每个进入该领域的人都应该投入大量的时间进行自学 1.3. 从一个邻近的领域转到数据工程是最容易的 1.3.1. 软件 ...

1. 数据工程 1.1. 自从公司开始使用数据做事，数据工程就以某种形式存在了 1.1.1. 预测性分析、描述性分析和报告 1.2. 数据工程师获取数据、存储数据，并准备数据供数据科学家、分析师和其他人使用 1.3. 数据工程是系统和流程的开发、实施和维护，这些系统和流程接收原始数据并生成支持下游用 ...

前言 经常使用MySQL数据库的小伙伴都知道，当单表数据量达到一定的规模以后，查询性能就会显著降低。因此，当单表数据量过大时，我们往往要考虑进行分库分表。那么如何计算单表存储多大的数据量合适？当单表数据达到多大的规模时，我们才要进行分库分表呢？ MySQL存储方式 首先我们要先了解一下MySQL存储 ...

一、理论相关 我们知道，Redis具有高可靠性，其含义包括： 数据尽量少丢失 - AOF 和 RDB 服务尽量少中断 - 增加副本冗余量，将一份数据同时保存在多个实例上，即主从库模式 Redis主从库模式 - 保证数据副本的一致（读写分离）： 读操作：主库、从库都可以接收 写操作：首先到主库执行，然 ...

1. 数据目录 1.1. 需要将分析基础设施放置在数据目录(Data Catalogue)的结构中 1.1.1. 元数据 1.1.2. 数据模型 1.1.3. 本体 1.1.4. 分类标准 1.2. 数据目录类似于图书馆的图书检索目录 1.2.1. 先通过图书馆的图书检索目录进行查找，以便快速找到所 ...

1. 描述性数据 1.1. 基础数据中包含不同类型的数据，而不同类型数据的描述性数据也存在显著的差异 1.2. 尽管这些描述性数据存在根本性的差异，但通过描述性数据，我们可以全面了解基础数据中的数据 1.3. 通过分析基础设施中提供的描述性数据可以获得更详细的数据 1.3.1. 分析基础设施是通往详 ...

原文地址：https://www.prisma.io/dataguide/postgresql/reading-and-querying-data/optimizing-postgresql 概述 在数据库作为后台支撑的应用程序中，管理数据库的性能是一项持续的任务。运行缓慢的查询可能导致超时、降低用 ...

1. 数据湖仓中的数据集成 1.1. 数据湖仓的总体目标是为每一个人提供支持，包括从普通职员到CEO 1.2. 有了作为基础设施的基础数据，企业等组织才能实现真正的数据驱动 1.3. 提供组织所需的数据，最关键的一环在于提供集成的数据基础 1.3.1. 只将数据扔进数据湖仓就指望它能满足人们的需求是 ...

SpringBoot使用properties连接数据库时没有出现问题 SpringBoot使用yml连接数据库时出现：Unable to connect to Redis 并在报错信息中出现： 发现是用户或者密码出现问题 通过查询知道yml是区分数据类型的，所以如果用户名或者密码是数字的话，就要注意 ...

概述 Redis 的发布/订阅是一种消息通信模式：发送者（Pub）向频道（Channel）发送消息，订阅者（Sub）接收频道上的消息。Redis 客户端可以订阅任意数量的频道，发送者也可以向任意频道发送数据。在发送者向频道发送一条消息后，这条消息就会被发送到订阅该频道的客户端（Sub） Redis ...