在人工智能快速发展的当下，算法歧视和性别偏见问题逐渐浮出水面。从图像识别软件的错误判断到搜索引擎结果的性别偏向，人工智能技术在多方面显现出 “性别偏见”。
纵观人类的发展史，每一次科技进步都将对性别平等产生深刻影响。尤其是当下，人们对于借助人工智能技术快速发展来弥合性别不平等寄予厚望。
但很多人没想过，人工智能技术本身是客观中立、不存在“算法歧视”“性别偏见的吗？
弗吉尼亚大学计算机科学专业教授在测试图像识别软件时曾发现，人脸识别系统会将厨房图片中的男性识别为女性；在烹饪和体育活动方面，用搜索引擎搜索出来的图片也存在明显的偏向性，如烹饪形象与女性相关，而体育形象则多为男性……
这些社会活动中的性别“刻板印象”，折现出算法本身的“性别偏见”。作为人工智能的核心要素，算法通过解决问题的逻辑规则，将数据转化为决策或预测。而在从数据运行到结果呈现，算法过程的每个环节都可能存在社会偏见，“性别偏见”往往被忽视却又真实存在。
如何消除算法中的“性别偏见”？如何平衡性别平等与个性化推荐？是人工智能发展过程中需要解决的伦理问题。
数据是算法运行的基础，更是人工智能学习成长的“养料”。但实际上，当前的数据更偏向男性，在数据采集环节就可能埋下性别偏差的“种子”。
例如，美国加利福尼亚大学、华盛顿大学的研究人员在《柳叶刀·公共卫生》杂志上刊发的研究结果显示，女性遭受的非致命性疾病未得到足够重视。其中一项原因是，由于历史和社会原因，临床试验中纳入女性数据较少。
这意味着，当此类数据被“投喂”给AI，并用于医疗领域时，针对女性的疾病诊断、治疗和预防策略可能并不完全准确和有效，AI提供的决策参考也会存在偏差。
图源：pexels
维基百科也曾被指出在内容的质与量上存在性别偏差，其中女性条目数量占比不到五分之一。联合国教科文组织发起#Wiki4Women倡议，通过创建、编辑和翻译维基百科上的女性简介和列表，改善百科中性别失衡的情况。这一举措恰恰证明，数据世界中的女性“隐形”与“缺失”。
算法运行中同样存在性别偏差的风险，且隐蔽性更强，这往往体现在内容推荐层面。学者邓松在论文《算法性别歧视的认定与法律规制——以消费领域为例》中表示，算法设计者直接或间接、显性或隐性的性别主观思想，会直接反映到算法之中。具体表现为，算法通过一套内生的“歧视性”运算流程，对所收集的消费者数据进行分析, 并做出针对不同性别的不同商品推荐、价格标签等行为。
中华女子学院社会学系副教授周旅军则举例表示，在算法运行过程中，AI可能会向女性用户更多推荐美容、育儿类内容，而向男性用户更多推荐科技、体育等内容，看似基于用户兴趣，实则可能加深性别分化。
人工智能行业的性别结构比例差异，也被部分学者认为是造成性别歧视的原因之一。
《2024全球性别平等报告》显示，尽管自2016年以来，女性在STEM（科学、技术、工程、数学领域）中的比例逐年增加，但仅占比28.2%，在STEM相关的行业比例均低于男性，且在STEM职业中的晋升难度更大。
另据联合国妇女署和玛娜基金会联合发布的《促进人工智能算法性别平等》报告，58%的人工智能算法从业者不知道算法当中存在性别偏见问题，73%从业者不知道存在专门针对女性的恶意算法。
图源：pexels
对此，信也科技首席科学家王春平告诉《IT时报》记者，首先需要从研发者的意识与环境培养开始。例如，企业内部提供完善针对人工智能领域或数字化应用相关的培训课程，包括业务场景、算法学习、工程化落地，开放给所有职位的员工，并且会尽可能地帮助公司内部对于人工智能算法有兴趣的女性员工参与一些实验性的创新的项目。
在求职层面，保障女性员工获得公平的职业机会，鼓励女性工程师参与关键算法岗位，营造更加平等的职场环境，并有意识消除算法工程师们的性别偏见，对于人工智能算法在应用中尽可能实现性别平等是有益的。
在使用电商App时，被推荐给男性用户与女性用户的内容大不相同，在价格方面也会有所偏差，这便是个性化推荐的结果。而做到精准推送的背后，是一个个贴在消费者身上的标签。
一位电商算法从业者向《IT时报》记者透露，性别、年龄、职业、地区、家庭等属于基础标签，是算法推荐的核心基础；上面一层才是消费水平、偏好、场景需求等行为标签，这类标签会根据用户真实使用情况进行动态轮换，达到精准推送的效果。
“目前，人工智能算法的主要范式是由一个目标函数驱动、逐渐优化，从而得到模型。”上海软件中心人工智能部副部长马泽宇告诉《IT时报》记者，在这过程中，很多时候并没有将一些用户的元信息考虑进去。
例如，一个商品价格优惠的智能推荐算法，如果其目标函数是盈利最大化，就很有可能会出现不同性别区别对待的现象。从逐利的角度看，这是最优的方法，但是在伦理上，就很容易隐藏性别歧视问题。
那么，建立在性别这一基础标签上的精准推送，究竟属于“偏好”还是“偏见”？
在马泽宇看来，具体问题需要具体分析。若从经济角度来看，商家根据算法，针对不同性别消费者进行产品推荐与定价，是一种销售策略，也是市场自由交易的行为。但因性别衍生出的“大数据杀熟”等情况，则违背公平交易和消费者知情权等原则，这就需要法律和社会研究进行界定是否存在“性别偏见”。
“很多时候，尤其是在商业决策中，我们很难判定算法在‘偏好’与‘偏见’之间的界限。”王春平告诉记者，如果企业观察到“女性”和“购买力”的相关性，应当进一步挖掘表面性别差异背后的实质因素，实现商业利益和性别平等的平衡。信也集团和浙江大学在这方面进行了研究，希望从技术角度出发，从带有偏见的数据中学习公平性表征，进一步探索算法的性别歧视治理。
性别话题如同天平的两端，要让天平保持平衡，就需要从多方面采取措施。法规政策方面，在科技飞速向前发展的当下，尽管法律法规具有一定的滞后性，但包括中国在内的很多国家努力对现行法律进行完善，将性别平等观念纳入数字化治理政策中。
图源：unsplash
例如，在上文提到的消费场景中，根据《中华人民共和国电子商务法》第十八条规定：电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项。其中，明确的个人特征就包括性别。
2023年8月15日起实施的《生成式人工智能服务管理暂行办法》也明确规定，在算法设计、训练数据选择、模型生成和优化、提供服务等过程中，采取有效措施防止产生民族、信仰、国别、地域、性别、年龄、职业、健康等歧视。
在监管层面，马泽宇向记者表示，呼吁相关监管部门对人工智能算法和应用进行治理和测评，建立健全AI系统性别审计机制。
具体可以分为两种模式，一是基于算法本身的优化，其中可能涉及关于算法目标函数和元数据信息的融合；另一种则是监管算法的完善，可以使用统计学方法，如假设检验，设定某种性别场景，对大模型进行多轮测试，统计出现性别歧视问题的数据，定量观测是否存在算法偏见的现象。
王春平对《IT时报》记者表示，在算法的创新开发过程中，作为人工智能算法工程师如果拥有正确的价值观，就能尽可能提前审视并察觉歧视偏见的存在，不断更新算法以调整它带来的问题，这是作为算法开发者的使命与责任，也是人工智能算法发展的重要前提。
技术层面，王春平认为，目前很多顶尖公司都开发了工具包和框架，如IBM AI Fairness 360、微软Fairlearn等。但挑战在于，这些工具须与具体业务场景深度结合，才能有效应用。
她对此建议，在预处理阶段，可以进行针对性的数据重采样，平衡性别、人种等数据的分布；在模型训练阶段，基于因果推理理论，通过反事实分析剔除性别与能力的虚假关联，寻找与期望预测结果拥有直接因果关系的因素；或者通过创新性地构造特征表征空间、损失函数中引入群体公平性指标约束，抑制某些带有偏见的因素带来差异。对于已经成型的模型，也可以在后处理阶段针对不同群体设置差异化决策阈值，补偿历史数据偏差。
作者／ IT时报记者 沈毅斌 编辑／ 钱立富 孙妍
本文由人人都是产品经理作者【IT时报】，微信公众号：【IT时报】，原创/授权 发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于 CC0 协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。