摘要：本文主要介绍基于源码部署 Datavines 和执行检查作业，内容主要分为以下几个部分： 平台介绍 快速部署 运行数据质量检查作业 Datavines 的目标是成为更好的数据可观测性领域的开源项目，为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建 ...

Redis使用场景 目录 缓存 缓存穿透 缓存击穿 缓存雪崩 双写一致性 持久化 数据过期策略 数据淘汰策略 分布式锁 实现原理（setnx、redission） 其他 哨兵模式、集群脑裂 分片集群、数据读取规则 redis是单线程的却很快 缓存 一、缓存穿透 定义：查询一个不存在的数据，Mysql ...

原表结构如下，我们可以发现，“日运输量”和“车次”是在同一张表中相互独立的两个字段，即独立的两列数据，下面，我将系统中的测试数据以及代码全部放出来，以解释列转行的操作方法 原表数据库查询代码： 1 SELECT 2 yzrq AS 运作日期, 3 DATE_FORMAT( yzrq, '%Y-%m' ...

Percona Toolkit 神器全攻略（复制类） Percona Toolkit 神器全攻略系列共八篇，前文回顾： 前文回顾 Percona Toolkit 神器全攻略 Percona Toolkit 神器全攻略（实用类） Percona Toolkit 神器全攻略（配置类） Percona T ...

近年来，政府将数据要素纳入了经济发展的重要指示性文件当中，希望利用数据驱动。《全国数据资源调查报告（2023年）》显示，2024年以来不少地方纷纷成立“数据集团”，加快盘活数据资产。作为数字经济时代的首要生产要素，数据将有望成为政府和企业财务报表以及财政收入的重要支持。 一、数据资产定义 数据资产是 ...

数据库从 mysql5.7 升级到 mysql8.4，部分场景出现以下错误提示：Plugin 'mysql_native_password' is not loaded 原因是：mysql_native_password 插件(模式)在新版本中被弃用了，新模式为 caching_sha2_passw ...

在当今这个数据驱动的时代，各行各业都正经历着前所未有的变革。伴随技术的飞速发展，数据仓库作为企业数据管理与分析的核心，如何更好地发挥作用，助力企业保持业务的敏捷性与成本效益，成为大家关心的焦点问题。本文将通过具体案例分析，展现基于离线开发的数据仓库转型落地中的关键步骤与实施策略。 一、业务增长迅速， ...

本文介绍如何通过ModelScope魔搭社区中的多模态表征开源模型进行多模态向量生成，并入库至向量检索服务DashVector中进行向量检索。 ...

​ 本文介绍如何通过模型服务灵积DashScope进行多模态向量生成，并入库至向量检索服务DashVector中进行向量检索。 ...

print' ' print'开始巡检' print' ' print'1.查看数据库版本信息' print' ' print'*********************************' SETNOCOUNTON; usemaster go print'' print@@version g ...

引言 我叫李庆旺，是Cisco Webex的一名软件工程师，同时也是Apache DolphinScheduler（以下简称DS）的Committer。 在过去的两年里，公司基于Apache DolphinScheduler进行了多项持续改进和创新，以更好地适应我们的业务需求。本文将介绍这些改进的具 ...

本文记录 SQLite.Interop.dll 由于 mscoree.dll 文件损坏而在加载时抛出 BadImageFormatException 错误，错误信息是 0x8007000B 试图加载格式不正确的程序 ...

1 Lua 简介 Lua 是一个由标准C语言开发的、开源的、可扩展的、轻量级的、弱类型的、解释型脚本语言，是于1993年由巴西里约热内卢天主教大学（Pontifical Catholic University of Rio de Janeiro）的三人研究小组使用标准C语言开发。 官网：https: ...

背景 前些年用python写过一个Redis Cluster 自动化安装，扩容和缩容的工具，虽然当时官方的的redis-trib.rb集群创建工具提供了集群创建、 检查、 修复、均衡等命令行功能，个人接受不了redis-trib.rb，原因在于redis-trib.rb需要ruby的环境，同时无法自 ...

事务复制的延迟 在数据库的主从复制过程中，包括MySQL的主从复制，SQLServer的事务复制等等，鉴于主节点往往是并发写入的，而从节点（SQLServer中叫做订阅节点）在重放主节点的写操作的时候，往往会产生一定时间的延迟，如何降低这种复制延迟，并行复制或者说多线程复制是其中手段之一。 SQLS ...

【标题】主备延迟故障分析方法 【问题分类】故障分析 【关键字】Yashandb、主备延迟 【问题描述】当数据库备机出现回放延迟时，需要通过一些手段分析延迟的原因。通过数据库的系统视图或操作系统监控数据可以辅助分析回放延迟的瓶颈。 【问题原因分析】 备延迟手段 当前备库的复制情况 Note： {rst ...

引言 我叫李庆旺，是Cisco Webex的一名软件工程师，同时也是Apache DolphinScheduler（以下简称DS）的Committer。 在过去的两年里，公司基于Apache DolphinScheduler进行了多项持续改进和创新，以更好地适应我们的业务需求。本文将介绍这些改进的具 ...

亲爱的社区小伙伴们，Apache DolphinScheduler 线上 Meetup 讲师&议题火热征集中！ 如果你热爱开源，对大数据调度有着深厚的兴趣，并且愿意将你的知识和经验分享给更多人，那么这就是你的舞台！这是一个锻炼自己的机会，让你不仅能够展示自己的技术能力，还能在开源社区中广交朋友。 ...

GreatSQL执行Update失败案例分析 一 问题概述 业务反馈在应用核心库的用户基本信息表执行部分update命令失败，报错如下： update xxx.xxx_staffbasicinfo set staffidstatus='04’ where staffid in (select * f ...

写在前面 今天学习clickhouse部分的知识。 ClickHouse OLTP (联机事务处理系统) 例如 MySQL 等关系型数据库，适用于小数据量时的快速查询和分析。OLTP 主要针对增删改操作，数据经常发生变化。 OLAP (联机分析处理系统) 适用于数据长期不变且有大量历史数据的场景，主 ...