这些真实的问题暴露了一个现实，就是算法系统并非所谓的中立，而且算法还暴露了全社会潜在的偏见。计算机科学家拉坦娅·斯威尼研究发现，当在谷歌搜索引擎中搜索带有非裔特色的名字比如“达内尔”时，网站会推送诸如刑事诉讼背景调查之类的广告，让人不禁会把非裔人士与刑事犯罪背景联系起来。15当输入主要是白人使用的名字，比如“吉尔”或“杰弗里”时，网站推送的广告就不会与刑事犯罪相关。问题在于不只是谷歌单方面造成了这种关联和联想，谷歌用户在搜索黑人姓名时也会更容易点到那些与刑事犯罪相关的广告，从而进一步使计算机算法认为两者之间有强关联，进而习得了这一社会偏见。换句话说，看似公平中立的技术可以暴露出社会既有的偏见，也支撑了技术仅仅是将社会现实反映出来的观点。还有另外一些歧视和偏见，当谷歌在搜索结果中展示工作招聘广告时，女性用户所看到的工作机会的待遇要低于男性用户。16除此之外，通信专家萨菲娅·U.诺布尔发现，用谷歌搜索“黑人女孩”时，搜索结果第一页和页面上的广告内容主要和色情有关，例如“本地黑人性爱”等。17社会上的确有将黑人女孩过度色情化的偏见，但谷歌的搜索结果进一步筛选和放大了这一偏见，而且谷歌公司还从这些广告内容中获利。作家汉斯·罗尔曼这样总结诺布尔的发现：“想象一下你走进一个图书馆想给孩子们找些资料，然后你问图书管理员这里有哪些关于黑人小女孩儿的图书，结果她给你拿来一堆色情杂志，因为图书管理员给人看色情杂志的话可以拿到回扣。”18
一个中立系统跟它所处的文化是相辅相成的：优步的情况是，那套司机评分系统逐渐吸收了给司机评分的消费者的偏见，然后反过来影响了司机的就业能力。19所有与司机相关的信息——从他们的种族、性别到日常的穿衣风格——都可以被乘客拿来当作支持和批判他们的证据。我们在数字生活中由算法主导，也造就了我们对商业化的数字交易行为的期待值。技术中立的神话让我们放松了对被操纵的警惕。当优步的溢价算法对同一地区不同用户实行区别计价政策时，它实际上是利用了用户，并利用了大家普遍相信的算法只是反映了市场上供需情况这一理念而获利。
中立技术平台用什么样的方式将社会现实反馈给我们，有可能会影响现实中存在的偏见，并让人们对算法背后的政治原理产生道德上的质疑。然而，这些平台所做的远不止向我们客观反馈社会情况那么简单。用户想要弄清楚自己看到的某件商品或某项服务的价格，到底是社会反馈的结果还是公司执行某项政策之后的产物，是非常困难的一件事。这中间的区别意义重大，因为一个商业或技术行为的性质到底是利益驱动还是操纵甚至滥用自己的优势地位，就要靠这种区别来判断。
一个中间商从用户身上获利的能力远不止价格考虑这一方面。例如，脸书最为人熟知的产品是消息推送，这是一种在用户登录账户后将一系列好友状态更新和新闻推送展示给用户的服务。这些消息推送是根据算法生成的，而且普遍认为是中立的。脸书经常拿消息推送做各种测试（比如对比测试）。在一次没有提前告知用户的情况下，脸书通过向用户推送愉快或者悲伤的消息，对部分用户做了一次心理状态实验，结果激起了一场轩然大波。20这个研究的结果显示，人们很容易受大众情绪的感染：那些看到愉快的消息推送的用户会发送更积极乐观的状态更新，而那些看了更多负面消息的用户则更倾向于发送负面的状态更新。21
算法控制的力量由于各种令人不安的公共事件已经成为聚光灯下的焦点。尤其是2016年美国总统大选期间，脸书在传播与俄罗斯相关的政治宣传中所扮演的角色，以及操纵媒体方面的影响，在全社会激起了一场关于科技工具在我们日常生活中扮演什么样角色的讨论。22不过，硅谷这些以消费者为导向的平台公司在面对“终端用户”时，会刻意淡化这种不透明的算法管理在客户关系中所扮演的角色。同样，尽管优步扮演的是一个中立的中间商角色，在调整乘客费率的同时却没有对司机做出相应补偿，它完全违背了自己所宣称的中立精神。在消费者的立场上某些看似带有欺骗性质的公司行为，在劳动雇佣关系层面上用来管理劳工那就带有完全不同的含义了。