算法霸权：欢迎参观大数据的面｜36氪领读
属马的今年多大原标题:算法霸权：欢迎参观大数据的面｜36氪领读 关注并标星36氪 每天3次，打卡阅读 更快更深
周末早，不知不觉，2018已经过去了大半年，相信很多小伙伴在年初都立下了读书的flag，现在你的读书计划进行的怎么样了呢？
新的一年，每个人都希望自己能有所进步，为了这个小目标，36氪为大家开设了一个新的栏目【36氪领读】。
未来每周末的早上，我们都会你推荐一本值得读的书，并提供一些书摘，希望我们都能下去，让自己在今年有所收获。
小时候，我常常盯着车窗外的车流，研究车牌号。我会把每个车牌号分解成素数，如：45=3*3*5。这叫做因式分解，是我最喜欢的研究消遣。我这个小数学迷对素数问题特别感兴趣。
我对数学的爱好最终发展成热爱。14岁时我参加数学大本营，带回来一个心爱的魔方。数学使我彻底逃脱现实世界的混乱。经过一步步证明，数学不断发展，知识领域不断扩大。我也加入到数学领域中，上大学时主修数学，后来取得博士学位。我的论文研究代数理论，这一领域根源于我小时候爱做的因式分解。最后，我成为巴纳德学院的终身教授，该学院与哥伦比亚大合培养数学系。
后来，我做了一个重大的改变。我从大学离职，到顶尖对冲基金D.E.Shaw担任数学分析专家。我离开学术界进入到金融领域，把抽象的数学理论应用到实践中。我们所做的数据分析为一个又一个账户变现数万亿美元。起初，在这新研究室研究全球经济我感到兴奋又震撼。但是，我在那儿工作一年多以后，2008年的秋天，全球金融危机爆发。
很明显，金融危机使得我曾经的所数学不仅卷入了世界问题中，还助推了其中的许多问题。房地产危机，重大金融机构倒闭，失业率上升，数学家通过运用神奇的公式成为这些问题的。而且，数学的功能特别强大，这一点我非常喜欢，一旦数学与科技结合，系统的效率会提高，规模扩大，混乱和不幸就会倍增，我现在意识到这是一种缺陷。
要是我们当时头脑的话，就会后退一步思考，数学是怎么被我们误用的，我们该如何防止未来发生同样的？但是，金融危机以后，数学新技术比以往更热门，甚至延伸到更多领域，每时每刻都在搅动着海量信息，大多数数据都是由社交或者电子商务网站而来。而且，数学逐渐不再关注全球金融市场动态，而是关注我们人类。数学家和统计学家一直在研究我们的、行动和消能费力。他们一直在预测我们的信用，评估学生、职员、情人以及罪犯的潜力。
这是大数据经济，收益前景非常可观。一个电脑程序可以在1-2秒内快速扫描成千上万份简历或是贷款申请，然后整理成清晰的列表，最有潜力的求职者位居前列。这不仅节约时间，而且还公平客观。毕竟，电脑程序不像人类带有个人，而只是一种处理无情数字的机器。到2010年左右，数学破天荒地介入人类事物，热烈欢迎数学这一工具。
但是，我看到了麻烦。数学应用助推数据经济，但这些应用的建立是基于不可靠的人类所做的选择。有些选择无疑是出于好意。但是，其中有许多模型把人类、和偏爱编入软件系统，这些系统日益操控我们的生活。这些数学模型像一样模糊不清，只有该领域的最高即数学家和计算机科学家才能明白模型是如何运作的。人们对模型得出的结论毫无争议，从不上诉，即使结论是错误的或是有害的。而且模型往往会惩罚社会中的穷人和受的人，而富人因此更加富有。
我为这些有害模型提出了一个名称：数学武器，或者简写成WMD。接下来我将用一个例子向你们阐明这种模型的特点。
这个案例和很多案例一样，出发点是好的。2007年，特区新上任市长艾德里安·芬提（Adrian Fenty）下定决心改善本市教学质量不佳的学校。当时，几乎每两个中学生中就有一个九年级学生勉强才能毕业，只有8%的八年级学生在数学上的表现达标。市长芬提聘用教育者李阳熙（Michelle Rhee）担任市教育总督。
当时流行的理论是学生学得不够好是因为老师教得不好。所以，在2009年，教育总督李阳熙落实教学表现差的教师的计划。这是全美教学质量差的地区的一种趋势，而且从系统工程的角度看，这种想法非常有意义：评估教师。最差的教师，把最好的老师调到最有用武之地的地方发挥他们的才干。用数据专家的话来说就是，“优化”学校系统，尽可能提供给孩子好的教育。除了“差”教师，谁还能与此争论？教育总督李阳熙开发了一个叫作IMPACT的教师评估工具，在2009-2010学年底，特区了得分垫底的2%的教师。第二年年底，又5%，也就是206名教师。
特区五年级教师萨拉·韦索基（Sarah Wysocki）似乎没有任何理由担心。她在麦克法兰中学仅任教两年就得到校长和学生家长的好评。校长表扬她对孩子专心，学生家长称她是“我接触过的老师中最好的一个”。
但是在2010-2011年年底，韦索基得到IMPACT的评分很惨。她的问题来自一个叫作增值模型的新评分系统，该系统用于评估数学和语言技能教学的效果。这个系统算法得出的分数占她总评分的一半，并且重要性超过学校领导和社区的好评。特区别无选择只好她，以及IMPACT得分在最低限度之下的另外205名教师。
这看起来不像是或者分数。该学区的这一评估办法确实有点逻辑。毕竟学校领导有可能是糟糕教师的朋友。他们可能喜欢他们的个性或是表面上的尽心尽力。糟糕教师看起来“挺好”。所以，像许多其他学校系统一样，特区愿意减少人为偏差，更加注重分数，因为分数是根据实实在在的结果即数学和阅读成绩得出的。特区官员承诺，分数可以清楚说明问题。分数更能体现公平。
韦索基当然觉得这些数字极其不公平，她想知道这些分数怎么得来的。她后来告诉我说：“我认为没有人能理解这些分数。”一个优秀的教师怎么会得到如此低的分数呢？增值模型评估的到底是什么？
她熟知，评估模型很复杂。特区聘用麦斯迈提卡政策研究机构（Mathematica Policy Research），该机构提出这套评估体系。该机构遇到的难题是测量特区学生的进步，然后计算学生的进步或退步多少能够归因于他们的老师。这当然不容易。研究人员知道，许多变量包括学生的社会经济背景、学习障碍影响等，都能影响学生学习成绩。评估算法必须要考虑到这些差异，这就是复杂的一个原因。
减少人类行为、表现以及在算法方面的潜力确实不是一件容易的事情。如果你想要理解麦斯迈提卡政策研究机构处理的是什么问题，你想象一个住在特区东南部贫民区里的10岁小女孩。一学期以后，她要参加五年级标准化测试。然后她的生活继续。她可能有家庭矛盾或是家庭经济困难。也许她正在搬家或是在担心了法律的哥哥。也许她不满意自己的体重或是在学校被。无论她的生活经历了什么，下一学年她要参加六年级学生的标准化测试。
如果你比较这两次测试的结果，分数应该会持平，或者希望是提高了。但是如果分数下降，很容易计算她和那些优秀学生之间的分数差距。
但是，老师该为这一差距负多大责任呢？这很难知道，而且麦斯迈提卡政策研究机构的教学评估模型只有少许数字可以比较。相反，像谷歌这样的大数据公司，研究人员不断测试，监测成千上万个变量。他们可以把任一广告的字体从蓝色改为红色，每版都投放给一千万观众，然后追踪哪一版本获得的点击率更高。他们根据受众的反馈微调算法和操作。虽然我对谷歌公司有许多意见，接下来我们将会在本书中探讨，但谷歌的这种不断测试是对数据的有效利用。
想要计算一个人在一个学年内对另一个人的影响更加复杂。韦索基表示：“学习和教学中有太多的因素，很难一一评估。”而且，试图通过分析二三十个学生的考试成绩去评估一名教师的教学水平，从统计学上来说是不可靠的，甚至很可笑。一切皆会出错，数字太渺小。如果我们要用搜索引擎的严格数据分析教师的话，必须随机挑选几千个甚至数百万个学生参加考试。统计师需要大量的数据平衡例外和反常情况。（我们将会看到，数学武器惩罚的个体往往是多数人中的例外。）
同样重要的是，数据系统需要反馈，系统出差错时能意识到。统计师不断试错训练模型，使之更加智能。若亚马逊的推荐模型相关性出错，给十几岁女孩推荐草坪修剪的工具书，网站的点击量必定骤降，亚马逊公司就会不断调整模型，直到用户相关性推荐正常为止。但是，如果没有错误反馈，大数据模型就会持续输出错误结果，无法改进。
我将要在本书中探讨的许多数学武器都是这样运作的，包括学区的增值模型。许多数学武器定义自己的功能然后证明其输出结果的合。这种模型巩固，极具力，生活中很常见。
麦斯迈提卡政策研究机构的评分系统给予韦索基和其他205名教师差评之后，特区了这些教师。但是该评分系统如何知道自己是否正确呢？无从知道。评分系统确定这些教师是失败者，那么别人就会认为他们是失败者。206名“差”教师走了。这一事实仅仅能表明该增值模型的效果。该模型正在清理特区不合格的教师。
这是数学武器反馈回的一个例子。我们将会在本书中看到许多这样的例子。比如说，雇主逐渐开始使用信用评分系统来评估求职者。雇主的想法是，及时支付账单的人更可能准时到岗和遵守规则。但其实，信用评分低的人中也有很多有责任感的人和优秀的雇员。但是，雇主认为信用低和工作表现差正相关，导致信用评分低的人很难找到工作。失业导致他们贫穷，而这又进一步降低了他们的得分，因此他们找工作难上加难。这是一个恶性循环。而雇主永远也不会知道，他们因为只关注信用评分而错过了多少优秀的雇员。在数学武器中存在许多有害的假设，这些模型包裹着数学的外衣，流行于市场，未经检测，人们对此却毫无争议。
这突出了数学武器的另一个常见特征，即往往惩罚穷人。部分原因是数学模型是用来评估数量多的人群。数学武器擅长巨量，成本低，这也是它们的吸引力所在。相反，富人通常受益于个人投入。高档律所或者专享预科学校会比快餐连锁店或者资金短缺的城市学区更依赖推荐和当面交流。我们以后会经常看到，阶 级更多与人打交道，而群众则由机器操控。
没有人能给韦索基解释为什么她得了这么低的分数，这已经可以说明问题了。算法就像，数学武器的裁决就是他的指令。数学武器像是一个黑盒子，里面的东西是严格的公司机密，Mathematica这样的顾问因此可以收取更多的费用，但它也有另一个目的：如果被评估的人被，他们将不太可能找到系统的漏洞。他们反而只是会努力工作，遵守规则，模型记录和感激他们的努力。但是，如果人们不能了解模型具体运作方式，就很难对分数提出质疑或者。
多年来，教师抱怨他们得到系统的评分，强烈要求知道分数的由来。他们被告知这是算法的结果，很难解释。很多教师因此望而却步不再追究。不幸的是，很多教师被数学吓到了。但有一个叫作莎拉·拜克丝（Sarah Bax）的数学老师不停地向学区领导、以前的同事詹森·卡姆拉斯问个究竟。反复几个月之后，卡姆拉斯让她等一份即将发表的技术报告。拜克丝说：“如果一种标准你自己都无释，你怎么能用它评估人的正当性呢？”但是这就是数学武器的本质。分析外包给程序员和统计师。通常来说，机器说了算。
即便如此，萨拉·韦索基深知她的学生标准化测试分数主要是根据公式计算的。她对此有一些疑问。她在麦克法兰中学任教最后一年开学之前，她看到五年级新生在四年级期末考试中取得惊人的好成绩。巴纳德小学29%的学生位列“高级阅读水平”，这一数字是该学区平均数的5倍。萨拉的很多学生都来自这个小学。
但是，开学后，她发现很多学生连简单的句子都读不好。很久之后，《邮报》和《今日美国》调查，该学区41所学校标准化测试有大量涂擦痕迹，包括巴纳德小学。大范围纠正答案表明作弊的可能性很大。有些学校多达70%的考场被怀疑。
这和数学武器有什么关系？有多方面关系。第一，教师评估算法是一种改善教学的强大工具，这是算法的目的，学校都施行“胡萝卜加大棒”政策。教师知道如果他们的学生考试不好，他们也会面临失业风险。教师因此想方设法确保学生通过考试，尤其是在大萧条期间劳动力市场需求疲软的时候。与此同时，如果他们的学生表现好于其他学校学生的话，教师和校领导可以得到高达8000美元的金。如果你认为这些强有力的激励政策可以证明试卷被大量涂改和反常高分，就有理由怀疑四年级教师出于害怕或是修改过学生的试卷。
那么可想而知，萨拉·韦索基班级的五年级新生入学高分是造假的。如果是这样的话，来年的成绩就会对他们不利，他们的老师也会成为表现不佳者。而韦索基认为这正是她现在的。这种解释与家长、同事和校领导的观察相符，即她确实是一个好教师，也可以事实。
但是，你不能状告一个数学武器。这也是数学武器力的原因之一。模型不会倾听，也不会，对吸引力、和以及逻辑通通充耳不闻，即使有充足的理由怀疑得出结论的数据。没错，如果自动化系统明显出错或者系统整体出错，程序师会修改算法。但多半情况下，程序的裁决不容置疑，而操作程序的人只能耸耸肩，好像在说，“嘿，你能怎么样？”
这正是萨拉·韦索基最终得到的学校回复。詹森·卡姆拉斯后来对《邮报》表示，涂擦是“暗示性的”，五年级学生的考分也许是错误的。但是这不是结论性的。他说对韦索基老师的处理是的。
你看出矛盾了吗？一个算法处理大量数据，提出一种可能性即某人可能是糟糕的HR、有风险的借款人、者或者是糟糕的老师。这种可能性换算出的分数能摧毁一个人的生活。但是当有人反击的时候，作为抗衡的“暗示性”涂擦又起不到作用了。以后我们将不断发现，数学武器的人所需要的标准要比算法自身还高。
萨拉·韦索基没几天就从被解雇的冲击中走了出来。很多人包括校长都她是个好老师，她很快在北弗吉利亚富人区的一个学校入了职。所以，由于一个特别可疑的模型，穷学校失去了一个好老师，而不会根据学生考试成绩教师的富学校得到了一个好老师。
房产危机发生之后，我意识到数学武器已经扩散到银行业并对经济造成危害。2011年初，我从对冲基金离职。后来我在一家电子商务创业公司担任数据分析师。因为这个职业关系，我发现大量数学武器已经波及到我们能想到的任何一个行业，加剧社会不公平，压榨。这些数学武器是如火如荼数据经济的核心。
为了数学武器这个名词，我注册了一个博客，叫数学宝贝。我的目的是动员同行数学家反对使用草率的数据和带有的模型，这样的模型会导致恶性循环。我的博客尤其吸引数据专家，他们提醒我要将数学武器到新的领域。但是2011年中期，“占领华尔街”事件在下曼哈顿地区突然涌现，我意识到我们该为更广大的做点事情。上万聚集，要求经济和经济问责。但是当我听到对占领者的采访时，我发现他们似乎对经济方面的基本问题一无所知。他们明显没有读过我的博客。（这里我要多说一句，了解一个系统的失败，并不是要求你对这个系统了如指掌。）
我意识到，我要么他们要么加入他们，所以我选择加入他们。不久，我推动哥伦比亚大学交替银行集团每周开例会，我们在会上讨论经济。在这个过程中我意识到，不当大学老师之后的两次职业冒险，一次是在经济领域，另一次是在数据科学，给了我绝好的便利接触推动数学武器的科技和文化。
如今，不严谨的数学模型掌控着广告业、等领域的经济。这些数学武器和萨拉·韦索基结束公立学校职业生涯的增值模型有很多相同特点：不透明，不被质疑，解释不通，这些模型按一定规模分类，定位或者“最大化利用”数百万人。大多数数学武器把运算结果和实际情况混淆，导致恶性循环。
但是学区增值模型和寻找高额发薪日贷款潜在客户的数学武器之间有一个重要的区别。这二者有不同的结果。学区得到的是一种货币，即教师评估得以完成；企业得到的是本位货币：钞票。对于许多运用数学武器的公司来说，热钱涌入似乎证明模型奏效了。站在公司的角度，这是有意义的。当公司构建模型寻找客户或者操控的借款人时，越来越多的盈利表明他们走对了。问题是利润最后成了真理的象征。认为赚钱就是真理，这样的混淆我们以后还会多次看到。
这是因为数据学家经常忽视交易接收端的。他们当然明白数学武器必然会一段时间，把人群归错类，他们找到工作或者买房的机会。但是一般来说，数学模型操作者不会思考那些错误。他们的反馈是，这也是他们的动机。他们设计的模型就是要吸收更多的数据，微调分析，让更多的热钱涌入。投资者当然尽享收益，继续将更多的钱投入到数学模型公司。
那么者呢？内行数据学家也许会说，没有数学模型是完美的。那些是附带受损。像萨拉·韦索基这样的人常常会被认为没有价值，不值得惋惜。他们也许会说，暂时忘记这些人，主要看那些从推荐引擎上获得有益的人群，或是在潘多拉上找到自己热爱的音乐的人，或者那些在领英上找到理想工作的人，还有在婚恋交友网站找到爱情的人。想想这令人惊讶的方面，忽略那些不完美。
大数据有很多者，但我不在其中。本书将透视数学武器导致的危害和不。我们将探讨影响人们人生关键时期（如上大学，借钱，，或者是找工作和保住工作）的有害。人类生活各个方面越来越多地被数学武器控制。
数据科学家，博主。博士毕业于哈佛大学，主修数学专业。她曾在巴纳德学院任教，之后为私营企业服务，例如避险基金。她还在各类新型公司担任数据科学家，预测消费者购买与点击趋势。每周她都会出现在“财富记账”的播客上。
数据科学家凯西•奥尼尔认为，我们应该不断渗透和深入我们生活的数学模型——它们的存在，很有可能到我们的社会结构。
我们生活在一个依赖“算法”的时代，它对我们生活的影响越来越大，我们去哪里上学，我是不是应该贷款买车，我们应该花多少钱来买健康保险，这些都不是由人来决定的，而是由大数据模型来决定的。从理论上来说，这一模型应该让社会更加公平，每一个人的衡量标准都是一样的，是不存在的。
*「36氪领读」是36氪微信推出的新栏目，会在每周末上午与大家见面。如果你看完以上这些觉得还不过瘾，想更加了解品牌与产品的营销手法，可以通过下方二维码点击购买这本《算法霸权》。