为建立对AI的信任，IBM希望开发者能够证明其算法的公平性

我们相信人工智能算法有很多非常重要的任务，但他们总是背叛我们。算法偏差会加重黑人地区的治安管理;社交媒体上的自动过滤系统会标记活动人士，同时允许仇恨组织继续不受约束地发布。

由于算法偏差导致的问题已经浮出水面，专家们提出了各种各样的解决方案，即如何使人工智能变得更加公平和透明，使其适用于所有人。

这些范围从让AI开发者第三方审计,由专家评估他们的代码和源数据,以确保结果的系统不延续社会的偏见和偏见,开发测试,以确保一个AI算法不治疗人们不同的基于种族、性别或社会经济类。

现在，来自IBM的科学家们有了一种新的保护措施，他们认为这将使人工智能更加安全、透明、公平和有效。他们建议，在开发人员开始销售算法之前，他们应该发布供应商的一致性声明(SDoC)。作为一份报告或用户手册，SDoC将显示该算法在性能、公平性和风险因素以及安全措施等标准化测试中的表现。他们应该让任何感兴趣的人都可以使用。

在周三发表的一篇研究论文中，IBM的科学家们认为，这种透明度可以帮助建立公众信任，并让潜在的客户相信，一个特定的算法会在不影响任何人的情况下，根据有偏见的培训数据来欺骗任何人。如果一个特定的算法看起来很可能会把某人搞砸，那么客户(甚至是感兴趣的公民)最好能够从测试结果中分辨出来，并选择不使用它。

在他们的论文中，IBM的科学家们利用了其他行业的SDoCs提供的例子，这些例子很少被法律所要求，但为了防止潜在客户选择更透明的竞争对手，他们受到了鼓励。例如，消费者可以信任汽车的刹车、飞机的自动驾驶功能、桥梁的弹性，因为这些东西都是根据标准的、众所周知的指标进行全面测试的。然而，没有类似的测试来确保人工智能工具能像宣称的那样运行。

研究人员建议人工智能SDoC会回答这样的问题：“数据集和模型是否检查了偏见?”以及“服务是否对对抗攻击的健壮性进行了检查?”“一般来说，这些问题会根据其性能来评估一个算法，而不是像审计人员那样检查它的组件或代码。正如研究人员在论文中所写的那样，以下是人工智能系统可能包含的一些内容：

用于培训服务的数据集是否有一个datasheet或数据语句?

数据集和模型是否检查了偏差?如果是，请描述被检查的偏差策略、偏差检查方法和结果。

是否在数据集上执行了偏差缓解?如果是，请描述缓解方法。

算法输出可辩解的/可翻译的吗?如果是，解释一下如何实现解释性(例如，可直接解释的模型，局部的解释能力，通过例子的解释)。

使用什么样的治理来跟踪数据到人工智能服务的总体工作流程?

要求开发人员发布SDoCs并不能解决我们日益依赖人工智能带来的所有问题。我们知道刹车是如何阻止一辆超速行驶的汽车的，但是一些更复杂的算法(比如那些使用深度学习技术的算法)是不可理解的。另外，如果一份基于标准化测试的透明报告将产生影响，那么每个人都必须参与其中。

当然，如果他们的竞争对手正在这么做，开发人员将会有动力开始发布SDoCs。但是，只有当客户、政府和使用人工智能的公司表明他们真正关心这些报告的内容时，这个系统才会起作用。像洛杉矶警察局这样的警察部门，过去曾使用过明显的种族主义警务算法，他们是否一定会对SDoC的细节有足够的关注，从而找到一个更好的系统?事实是，我们还不知道。

这些报告不太可能迫使任何人使用更多的道德算法，甚至不可能开发它们。但是，如果你把这些报告与第三方审计等其他工具结合起来，公众就可以要求对每个人都公平的算法。