刷新
读数据科学伦理:概念、技术和警世故事09伦理建模

博主头像 1. 伦理建模 1.1. 女性的隐形歧视问题 1.2. 可解释性问题,即能够解释预测结果 1.2.1. 之所以需要能够解释预测结果,是因为我们既要获得对模型的信任,又要有所感悟,还要改进模型 1.3. 可解释性方法 1.3.1. 复杂模型可解释性方法(LIME) 1.3.2. 反事实分析方法 1.3 ...

读数据科学伦理:概念、技术和警世故事08隐私保护数据挖掘

博主头像 1. ε-差分隐私 1.1. 差分隐私的概念是由辛西娅·德沃克(Cynthia Dwork)提出的,是数据科学的黄金标准之一,它将隐私纳入其中 1.2. 差分隐私的目标是让社会科学家共享有用的统计数据,这些统计数据与敏感数据库有关 1.2.1. 如果不考虑隐私问题便回答,就可能会泄露私人敏感信息 1 ...

读数据科学伦理:概念、技术和警世故事07再识别和公平

博主头像 1. 再识别 1.1. 我们生活在数字化时代,行为数据记录着我们的一举一动的 1.1.1. 行为数据会带来隐私风险,主要因为有完全相同记录行为的人数极少,所以才可以进行再识别 1.1.2. 加强k-匿名会大大降低此类数据的效用,因为此类数据具有细粒度属性,因此建立在此类数据上的预测模型的精确度往往会 ...

Apache Doris Docker部署

博主头像 Apache Doris是一款基于 MPP 架构的高性能、实时分析型数据库。它以高效、简单和统一的特性著称,能够在亚秒级的时间内返回海量数据的查询结果。Doris 既能支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 基于这些优势,Apache Doris 非常适合用于报表分析、即席查询、统一 ...

全球 PG 大咖相聚泉城!HOW 2025 生态大会邀您提交议题

博主头像 在数据库技术迭代加速的 2025 年,PostgreSQL(PG)已从一款“开源关系型数据库”演变为驱动数字化转型的核心引擎。其凭借开源社区的活力、技术架构的灵活性与多场景适配能力,正以“纵向深化功能、横向拓展生态”的姿态重塑行业格局。根据最新 DB-Engines 排名,PostgreSQL 稳居 ...

读数据科学伦理:概念、技术和警世故事06伦理数据预处理

博主头像 1. 伦理数据预处理 1.1. 仅仅通过去身份化措施是远远不够的 1.2. 仅仅去除信息的敏感属性并不足以消除对敏感群体(如外国学生)的偏见 1.3. 找到方法消除数据集中存在的偏见并利用生成的预测模型来避免歧视现象的出现 1.4. 对数据集采用k-匿名、l-多样性或t-贴近度法等手段以加强隐私保护 ...

针对大事务问题对业务存储过程改造

博主头像 针对大事务问题对业务存储过程改造 一、问题描述 1. 问题现象 业务调用存储过程没有成功,发现存在大事务,单独拿出来执行发现问题。 greatsql> INSERT INTO `ywdb1`.`t1`( `TIMEKEY`, `zbbh`, `zcbl`, `zcblms`, `zjzh`, `zj ...

时序数据库 IoTDB 集成 DataEase,又一可视化交互选择!

博主头像 时序数据的存储并不是应用的最终目的,利用强大的可视化 BI 工具将时序数据转化为监控、分析业务实时状态的有效抓手,已成为驱动智能决策与业务增长的核心路径。 国产原生时序数据库 IoTDB 为工业物联网提供高性价比的时序数据管理能力,与 DataEase 数据可视化平台深度融合形成完整解决方案: 实时 ...

[20250514]truncare table相关数据段的确定与恢复.txt

[20250514]truncare table相关数据段的确定与恢复.txt--//这几天一直在做truncare table,drop table的非常规恢复,通过修改obj$表的DATAOBJ#指向原来的数据段号,然后通过rowid扫描--//的方式收集数据。该方式最大的缺点就是恢复很慢,原始 ...

升级遇到坑?一文带你搞定 DolphinScheduler 2.0 到 3.0 升级

博主头像 1.升级背景 因项目需要使用数据质量模块功能,可以为数仓提供良好的数据质量监控功能。故要对已有2.0版本升级到3.0版本以上,此次选择测试了3.0.1 和 3.1.1 两个版本,对进行同数据等任务调度暂停等操作测试,最后选择3.0.1 版本 原因: 3.1.1 在测试sql任务时 ,同时启动上百sq ...

读数据科学伦理:概念、技术和警世故事04隐私保护机制

博主头像 1. 加密 1.1. 在数据保护的基本方法中,加密可能是最重要的一种方法 1.1.1. 加密的基本概念是指将信息进行编码,只有经过授权的人才可访问它 1.1.2. 在现代社会,这是保障个人数据安全储存和传输的重要工具 1.1.3. 信息编码被称为密码 1.1.4. 在加密中,密文仍能被还原成明文 1 ...

[20250512]drop table的恢复3(包含lob类型字段).txt

[20250512]drop table的恢复3(包含lob类型字段).txt--//作为系列测试,增加drop table的恢复(包含lob类型字段)的情况,建立表包含lob字段,每个lob字段包含2个段,1个数据段,1个其--//索引段。当drop table时,相关数据段全部删除(包括索引段也 ...

<123···50>