sqlite3使用记录
参考资源 SQLite 简介 | 菜鸟教程 (runoob.com) Ubuntu下sqlite3的安装及使用 安装步骤 安装：sudo apt-get install sqlite3 查看版本：sqlite -version 安装Sqlite3编译需要的工具包：sudo apt-get insta ...
Apache DolphinScheduler中处理任务/告警/事件相关核心思路曝光
最近在看Apache DolphineScheduler，发现DolphinScheduler在处理任务时，通过先将任务快速的存储在数据库中，然后基于对应的Task，将Task放入队列中，然后将Task进行快速消费的思路。 这种模型在很多框架中，都有体现。 我们知道在Master模块时处理任务的核心 ...
Redis组件介绍(一)
写在前面 今天我们来学习一下 Redis 。Redis 是一个高性能的开源内存数据存储系统，支持多种数据结构，如字符串、列表、集合、有序集合和哈希表。 NoSQL 概述 随着大数据的兴起，数据量的暴增，数据类型的丰富，传统的关系数据库在应付动态网站，特别是超大规模和高并发的纯动态网站时已经显得力不从 ...
兴业证券基于Apache DolphinScheduler的应用实践
文 / 兴业证券股份有限公司 刘洋 石良生 柳君 李致琪 本文来源于网络，如有侵权，请联系删除 任务调度平台，扮演着自动执行预设任务的重要角色，是业务开展过程中不可或缺的一环。随着业务规模的不断扩展，兴业证券每日需要进行数以万计的任务调度，因此，优化和提升任务调度平台的性能与稳定性至关重要。本文通过 ...
redis中大key问题的解决思路
redis中如果某一个key-value值过大，在访问量比较高的时候就可能会造成网络带宽不足，例如一个value值存储大小为5MB，同时有5000个并发访问，网络带宽需要209.7 Gbps，这必然会造成网络阻塞。其次redis中是单线程结构如果一个key-value值占用内存过大，传输时占用此线程 ...
SQL server 特殊字符"\u0000"处理
某天，接到用户反馈点击某个项目分组的时候页面报错，点击其他项目不报错。 初步以为是下标数字特殊符号导致的。通过前台输出对应的数值后发现该字段末尾有个“\u0000”特殊字符（ASCII字符char(0)）。通常是导入数据时的格式问题或是程序处理时将页面中的换行字符保存数据库导致的。 像SQL ser ...
Oracle数据库镜像克隆恢复或更改ip后导致数据库无法使用
一、现象：# 启动监听报错提示： Listener Parameter File /db/oracle/product/11.2.0/network/admin/listener.ora Listener Log File /db/oracle/diag/tnslsnr/VM-80-3-centos ...
AI创新，DataOps聚能 | 白鲸开源DTCC共话DataOps新篇章
近日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第15届中国数据库技术大会（DTCC 2024）隆重召开。大会以“自研创新 数智未来”为主题，吸引了数百位行业专家和广大数据领域从业者共聚这场年度数据库技术交流盛宴，共同探讨新时代下数据库的技术动态和应用实践。 作为全球领先的 ...
《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（二）
质量数据采集到的是原始的数据，由于数据质量规则众多，所以每一种规则采集到的原始数据可能都不一样，所以还需要对原始的数据做归一化处理，然后才能进行入库存储 ...
源代码编译，Apache DolphinScheduler前后端分离部署解决方案
转载自神龙大侠 生产环境部署方案 在企业线上生产环境中，普遍的做法是至少实施两套环境。 测试环境 线上环境 测试环境用于验证代码的正确性，当测试环境验证ok后才会部署线上环境。 鉴于CI/CD应用的普遍性，源代码一键部署是必要的。 本文是探索对DolphinScheduler源代码改造，构建测试，线 ...
Apache SeaTunnel技术架构演进及其在AI领域的应用
随着数据集成需求的增长，Apache SeaTunnel作为新一代的数据同步引擎，不仅在技术架构上不断演进，也在AI领域展现出其独特的应用价值。在CommunityOverCode Asia 2024大会上，Apache SeaTunnel PMC Chair 高俊 深入探讨SeaTunnel的技术 ...
sql优化-错误强制类型转换导致索引失效
使用GaussDB数据库进行测试 创建下面表，仅有一个字段a为integer类型。声明其为主键，数据库会默认为其建立索引。 create table t1( a int PRIMARY KEY ); 使用\d+查看表结构： gaussdb=# \d+ t1 Table "public.t1" Col ...
mysql基础
MySQL概述 1、数据库相关概念 主流的关系型数据库： 总结 1)数据库:数据存储的仓库 2)数据库管理系统:操纵和管理数据库的大型软件 3)SQL:操作关系型数据库的编程语言，是一套标准 2、MySQL数据库下载及安装 版本 MySQL官方提供了两种不同的版本: 社区版(MySOLCommuni ...
《数据资产管理核心技术与应用》读书笔记-第五章：数据服务(二)
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限 ...
[20240824]跟踪library cache lock library cache pin使用gdb.txt
[20240824]跟踪library cache lock library cache pin使用gdb.txt--//这几天一直想写一个gdb脚本实现这个功能,先开始自己尝试,遇到一些问题,冷静下来看了以前的学习笔记,网上查了相关链接,能找到--//的资源很少:--//https://nenad ...
Springboot操作Poi进行Excel导入
以上就是我所要导入的Excel模板。 需求重点 经过这次需求的实现,发现这个需求最难的点 就在 模板模板模板！ 模板中数据的关系，理清楚思路 模板中的数据，到底是多sheet还是说有合并单元进行导入 实现感悟 不管是多个sheet、还是说合并单元格、最重要的思想都是说将Excel中的数据进行拼接为一 ...
《数据资产管理核心技术与应用》读书笔记-第五章：数据服务(一)
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限... ...
Percona Toolkit 神器全攻略（开发类）
Percona Toolkit 神器全攻略（开发类） Percona Toolkit 神器全攻略系列共八篇，前文回顾： 前文回顾 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略（实用类） Percona Toolkit 神器全攻略（配置类） Percona T ...
中国每个软件创业者都是这个时代的“黑悟空”
作者 | 白鲸开源CEO 郭炜 我作为一个具有30+游龄而20年+都不碰游戏的游戏玩家，最近为了《黑神话:悟空》（简称，黑悟空），不但花重金更新了显卡，还第一次下载了Steam并绑定了支付，为的就是支持这个第一次走出国门的3A游戏大作。 因为，我在《黑悟空》3A作品诞生的经历里，看到了中国软件创业者 ...
Apache SeaTunnel数据处理引擎适配的演进和规划
作者 | Chao Tian (tyrantlucifer)，Apache SeaTunnel PMC Member 摘要 Apache SeaTunnel作为一个高性能数据同步工具，以其高效的数据处理能力，为数据集成领域带来了创新。在引擎上，Apache SeaTunnel除了支持自身的Zeta引 ...