1. sql基础 1.1. 数据库常用的数据类型 1.2. 带n与不带n的区别 1.3. 带var与不带var的区别 1.4. 2.基础操作 1.4.1. 更新语句 1.4.2. 删除语句 1.4.3. 约束 1.4.4. 修改表结构 1.4.5. 查询表 1.4.6. 模糊查询 _ % [ ] ^ ...

MERGE同步两个表， 根据与源表的JOIN 条件，来通过插入、更新和删除目标表行,达到2张表数据一致。 MERGE 语法： ， MERGE TOP (value) <target_table> USING <table_source> ON <merge_search_condition> [ W ...

1. 企业架构 1.1. 企业架构有很多子集，包括业务、技术、应用程序和数据 1.2. TOGAF 1.2.1. The Open Group Architecture Framework，是The Open Group的一个标准 1.2.2. 被誉为当今使用最广泛的架构框架 1.2.3. 定义 1 ...

[20241012]cursor_sharing=force与函数索引.txt--//今天听了一个课程，提到使用cursor_sharing=force解决sql语句使用文字变量问题以及局限性，实际上一些局限性在新的oracle版--//本已经不存在， 突然想起今年3月份的事情，使用cursor_s ...

近日，“创客北京2024”海淀区复赛名单正式公布，白鲸开源凭借其全球领先的云原生DataOps平台——WhaleStudio，荣获企业组优秀奖，并成功进入复赛名单。 此次“创客北京2024”海淀区级赛由中关村科学城管理委员会主办，北京中关村科学城科创服务有限公司与中国北京（海淀）留学人员创业园（海淀 ...

rebootClusterFromCompleteOutage()是MySQL Shell中的一个实用命令，用于在 InnoDB 集群遇到完全中断 （例如，当组复制在所有成员实例上停止时）后重新配置和恢复集群。这个命令允许你连接到集群中的一个 MySQL 实例，并使用该实例的元数据来恢复整个集群。 ...

1. 数据问责制 1.1. 数据问责制意味着分配一个人来管理一部分数据 1.1.1. 负责人协调其他利益相关者的治理活动 1.1.2. 如果没有人对相关数据负责，那么管理数据质量就会很困难 1.1.3. 负责数据的人不一定是数据工程师 1.1.4. 负责人可能由软件工程师、产品经理或其他角色担任 1 ...

数据资产管理是一项系统而复杂的工程，涉及到元数据、数据血缘、数据质量、数据服务、数据监控、数据安全、数据权限等众多方面，为了更高效的管理好数据资产，因此在很多大型的企业或者组织中，通常会构建一个数据资产管理平台来管理这些各种各样的数据资产，数据资产管理平台通常会包含如下功能： 关注清哥聊技术公众号， ...

1. 主要底层设计 1.1. 以前的数据工程周期只关注技术层，而工具和实践的持续抽象和简化已经改变了这一重点 1.2. 数据工程现在包含的不仅仅是工具和技术 1.2.1. 该领域现在正在向价值链上游移动，将数据管理和成本优化等传统企业实践与DataOps等新实践相结合 1.3. 底层设计 1.3.1 ...

Apache DolphinScheduler介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Dag背景知识 摘录了一下Dag的offical定义 A ...

引言 随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。 在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，主要分 ...

流批一体是数据领域的热门话题，随着实时数据处理需求的不断涌现和Flink等新兴流计算技术的持续发展，流批一体正从技术愿景向具体的、适配不同行业特点的解决方案过渡。 个人认为，流批一体解决方案的重点分为四个方面，数据集成、存储引擎、计算引擎、元数据管理。 数据集成 传统的批量数据集成方式是每日一次的批 ...

1. 获取 1.1. 在了解数据源、所用源系统的特征以及数据的存储方式之后，你需要收集数据 1.2. 数据工程生命周期的下一阶段是从源系统中获取数据 1.2.1. 源系统和获取代表了数据工程生命周期中最重要的瓶颈 1.2.2. 源系统通常不在你的直接控制范围内，可能会随机变得无响应或提供质量差的数据 ...

[20241009]oracle timestamp with time zone数据类型的存储.txt--//放假前遇到的问题，开发在表中定义了几个timestamp with time zone的数据类型，及时更正对方的错误，完全没有使用这样的数据--//类型。类似的问题我以前就遇到，比如全部应 ...

各位热爱 Apache DolphinScheduler 的小伙伴们，社区 9 月月报更新啦！这里将记录 Apache DolphinScheduler 社区每月的重要更新，欢迎关注！ 月度 Merge Star 感谢以下小伙伴上个月为 Apache DolphinScheduler 做的精彩贡献（ ...

各位热爱 SeaTunnel 的小伙伴们，9月份社区月报来啦！这里将定期更新SeaTunnel社区每个月的重大进展，欢迎关注！ 月度Merge Stars 感谢以下小伙伴上个月为 Apache SeaTunnel 做的精彩贡献（排名不分先后）： @ZhangWeike2000,@wuchunfu,@ ...

今天，hr见到你简历上写过“搭建过mysql主从，有使用的经验” 突然兴致来了一句“你在搭建的时候，如何判断要主备库切换，说一下你的理解” 我重生了，回到了面试的前一分钟，上一世，我没能回答这个问题，这一世，我将。。。。（编不下去了） 哎，你可以说用select 1 判断，但他成功返回并不能说明主库... ...

通过MySQL Workbench 将 SQL Server 迁移到GreatSQL 一、概述 MySQL Workbench 提供了可以将Microsoft SQL Server的表结构和数据迁移到 GreatSQL 的功能，此次将通过MySQL Workbench将SQL Server的数据迁移 ...

概览 索引是一种数据结构，用于帮助我们在大量数据中快速定位到我们想要查找的数据。 索引好比一本好书的目录页，需要查询某个章节直接在目录页查找，然后打开响应页数。 但索引也不是就快，如果章节少，那就直接翻开书找即可很快找到，只有章节非常多时，我们就可以利用索引快速找到。 所以，如果想让索引发挥出其真正 ...

笔者在最近的项目开发中，频繁地遇到了 Java 类型与 JDBC 类型之间的转换问题： 1、数据库的 varchar 类型字段，需要存储 Java 实体中的 JSON 字符串； 2、数据库的 int 类型字段，需要存储 Java 实体中的 Enum 枚举。 ...