[20241013]sqlplus spool与文件覆盖.txt--//这个问题在8月份遇到的问题，我发现在sqlplus下spool a.sql文件，并没有在当前目录产生a.sql文件，后来我发现建立在环境变量--//ORACLE_PATH定义的目录下,当时以为自己打开多个会话，没有注意自己工作的 ...

本篇章为初步了解mysql数据事务控制问题，事务作为MySQL的基础篇章是至关重要的一部分内容！ 事务 1、事务简介 事务是一组操作的集合，它是一个不可分割的工作单位，事务会把所有的操作作为一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。 默认MySQL的事务是自动提交的 ...

大家好，我是 V 哥。在实际的业务场景中，Spark任务出现OOM（Out of Memory） 问题通常是由于任务处理的数据量过大、资源分配不合理或者代码存在性能瓶颈等原因造成的。针对不同的业务场景和原因，可以从以下几个方面进行优化和解决。 一、业务场景及可能的OOM原因分析 数据量过大： 业务场 ...

误删GreatSQL数据？别慌，Binlog来帮忙 数据丢失是每一个数据库管理员和开发者都不愿面对的噩梦。然而，意外总是难免，当不小心删除了重要的数据，如何才能迅速而有效地进行恢复呢？在数据库中有二进制日志 (Binlog)，它不仅记录了所有更改数据的事件，还可以帮助将数据库恢复到任何一个特定的时间 ...

近日，Gartner发布了24年《中国数据分析及人工智能成熟度周期报告》，在成熟度曲线中声明“数据中台”已被淘汰。数据中台，这个曾被奉若圭臬，视为先进架构的标志性建筑，将就此将淡出历史舞台。 有些东西，在它真正消亡前，就已经被遗忘。 其实，早在几年前，国内技术圈已经不再热衷于数据中台概念，一位IT媒 ...

1. 域和服务 1.1. 域是你正在为其构建的现实世界主题区域 1.2. 服务是一组功能，其目标是完成一项任务 1.3. 一个域可以包含多个服务 1.4. 确定领域中应包含的内容 1.4.1. 确定领域应该包含什么以及要包括哪些服务时，最好的建议是简单地去与用户和利益相关者交谈，倾听他们在说什么，并 ...

1. sql基础 1.1. 数据库常用的数据类型 1.2. 带n与不带n的区别 1.3. 带var与不带var的区别 1.4. 2.基础操作 1.4.1. 更新语句 1.4.2. 删除语句 1.4.3. 约束 1.4.4. 修改表结构 1.4.5. 查询表 1.4.6. 模糊查询 _ % [ ] ^ ...

MERGE同步两个表， 根据与源表的JOIN 条件，来通过插入、更新和删除目标表行,达到2张表数据一致。 MERGE 语法： ， MERGE TOP (value) <target_table> USING <table_source> ON <merge_search_condition> [ W ...

1. 企业架构 1.1. 企业架构有很多子集，包括业务、技术、应用程序和数据 1.2. TOGAF 1.2.1. The Open Group Architecture Framework，是The Open Group的一个标准 1.2.2. 被誉为当今使用最广泛的架构框架 1.2.3. 定义 1 ...

[20241012]cursor_sharing=force与函数索引.txt--//今天听了一个课程，提到使用cursor_sharing=force解决sql语句使用文字变量问题以及局限性，实际上一些局限性在新的oracle版--//本已经不存在， 突然想起今年3月份的事情，使用cursor_s ...

近日，“创客北京2024”海淀区复赛名单正式公布，白鲸开源凭借其全球领先的云原生DataOps平台——WhaleStudio，荣获企业组优秀奖，并成功进入复赛名单。 此次“创客北京2024”海淀区级赛由中关村科学城管理委员会主办，北京中关村科学城科创服务有限公司与中国北京（海淀）留学人员创业园（海淀 ...

rebootClusterFromCompleteOutage()是MySQL Shell中的一个实用命令，用于在 InnoDB 集群遇到完全中断 （例如，当组复制在所有成员实例上停止时）后重新配置和恢复集群。这个命令允许你连接到集群中的一个 MySQL 实例，并使用该实例的元数据来恢复整个集群。 ...

1. 数据问责制 1.1. 数据问责制意味着分配一个人来管理一部分数据 1.1.1. 负责人协调其他利益相关者的治理活动 1.1.2. 如果没有人对相关数据负责，那么管理数据质量就会很困难 1.1.3. 负责数据的人不一定是数据工程师 1.1.4. 负责人可能由软件工程师、产品经理或其他角色担任 1 ...

数据资产管理是一项系统而复杂的工程，涉及到元数据、数据血缘、数据质量、数据服务、数据监控、数据安全、数据权限等众多方面，为了更高效的管理好数据资产，因此在很多大型的企业或者组织中，通常会构建一个数据资产管理平台来管理这些各种各样的数据资产，数据资产管理平台通常会包含如下功能： 关注清哥聊技术公众号， ...

1. 主要底层设计 1.1. 以前的数据工程周期只关注技术层，而工具和实践的持续抽象和简化已经改变了这一重点 1.2. 数据工程现在包含的不仅仅是工具和技术 1.2.1. 该领域现在正在向价值链上游移动，将数据管理和成本优化等传统企业实践与DataOps等新实践相结合 1.3. 底层设计 1.3.1 ...

Apache DolphinScheduler介绍 Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景，提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。 Dag背景知识 摘录了一下Dag的offical定义 A ...

引言 随着大数据的发展，任务调度系统成为了数据处理和管理中至关重要的部分。Apache DolphinScheduler 是一款优秀的开源分布式工作流调度平台，在大数据场景中得到广泛应用。 在本文中，我们将对 Apache DolphinScheduler 1.3.9 版本的源码进行深入分析，主要分 ...

流批一体是数据领域的热门话题，随着实时数据处理需求的不断涌现和Flink等新兴流计算技术的持续发展，流批一体正从技术愿景向具体的、适配不同行业特点的解决方案过渡。 个人认为，流批一体解决方案的重点分为四个方面，数据集成、存储引擎、计算引擎、元数据管理。 数据集成 传统的批量数据集成方式是每日一次的批 ...

1. 获取 1.1. 在了解数据源、所用源系统的特征以及数据的存储方式之后，你需要收集数据 1.2. 数据工程生命周期的下一阶段是从源系统中获取数据 1.2.1. 源系统和获取代表了数据工程生命周期中最重要的瓶颈 1.2.2. 源系统通常不在你的直接控制范围内，可能会随机变得无响应或提供质量差的数据 ...

[20241009]oracle timestamp with time zone数据类型的存储.txt--//放假前遇到的问题，开发在表中定义了几个timestamp with time zone的数据类型，及时更正对方的错误，完全没有使用这样的数据--//类型。类似的问题我以前就遇到，比如全部应 ...