中科易研：如何做好数据清洗？( 二 ) 大数据本身是一座金矿、一种

三、使用Set或者Counter把变量的类别以及类别出现的频次存储起来
数据中经常有些字段是枚举类型的。例如，血型只能是A、B、AB或者O 。用断言来限定血型只能是这4种之一虽然挺好，但是如果某个类别包含多种可能的值，尤其是当有的值你可能始料未及的话，就不能用断言了。这时候，采用counter这种数据结构来存储就会比较好用。这样做你就可以：
1、对于某个类别，假如碰到了始料未及的新取值时，就能够打印一条消息提醒你一下。
2、洗完数据之后供你反过头来检查。例如，假如有人把血型误填成C ，那回过头来就能轻松发现了。
四、断点清洗
如果你有大量的原始数据需要清洗，要一次清洗完可能需要很久，有可能是5分钟， 10分钟，一小时，甚至是几天。实际当中，经常在洗到一半的时候突然崩溃了。
假设你有100万条记录，你的清洗程序在第325392条因为某些异常崩溃了，你修改了这个bug ，然后重新清洗，这样的话，程序就得重新从1清洗到325391 ，这是在做无用功。其实可以这么做：1.让你的清洗程序打印出来当前在清洗第几条，这样，如果崩溃了，你就能知道处理到哪条时崩溃了。2.让你的程序支持在断点处开始清洗，这样当重新清洗时，你就能从325392直接开始。重洗的代码有可能会再次崩溃，你只要再次修正bug然后从再次崩溃的记录开始就行了。
当所有记录都清洗结束之后，再重新清洗一遍，因为后来修改bug后的代码可能会对之前的记录的清洗带来一些变化，两次清洗保证万无一失。但总的来说，设置断点能够节省很多时间，尤其是当你在debug的时候。
五、在一部分数据上进行测试
不要尝试一次性清洗所有数据。当你刚开始写清洗代码和debug的时候，在一个规模较小的子集上进行测试，然后扩大测试的这个子集再测试。这样做的目的是能够让你的清洗程序很快的完成测试集上的清洗，例如几秒，这样会节省你反复测试的时间。
但是要注意，这样做的话，用于测试的子集往往不能涵盖到一些奇葩记录，因为奇葩总是比较少见的嘛。
留、把清洗日志打印到文件中
当运行清洗程序时，把清洗日志和错误提示都打印到文件当中，这样就能轻松的使用文本编辑器来查看他们了。
七、可选：把原始数据一并存储下来
当你不用担心存储空间的时候这一条经验还是很有用的。这样做能够让原始数据作为一个字段保存在清洗后的数据当中，在清洗完之后，如果你发现哪条记录不对劲了，就能够直接看到原始数据长什么样子，方便你debug 。
不过，这样做的坏处就是需要消耗双倍的存储空间，并且让某些清洗操作变得更慢。所以这一条只适用于效率允许的情况下。
八、最后一点，验证清洗后的数据
记得写一个验证程序来验证你清洗后得到的干净数据是否跟你预期的格式一致。你不能控制原始数据的格式，但是你能够控制干净数据的格式。所以，一定要确保干净数据的格式是符合你预期的格式的。
这一点其实是非常重要的，因为你完成了数据清洗之后，接下来就会直接在这些干净数据上进行下一步工作了。如非万不得已，你甚至再也不会碰那些原始数据了。因此，在你开始数据分析之前要确保数据是足够干净的。要不然的话，你可能会得到错误的分析结果，到那时候，就很难再发现很久之前的数据清洗过程中犯的错了。
【中科易研：如何做好数据清洗？】中科易研以十余年行业积累为基础，结合互联网大数据技术，秉承“数据、信息、知识、智慧”的方法论，坚持“用数据说话、用数据决策、用数据管理、用数据创新”的理念，以自主研发获得国家发明专利的易研问卷平台和易研大数据云平台为依托，专注于为教育科研机构、政府企事业单位提供基于数据采集、数据清洗、数据检索、数据管理、数据分析和可视化、数据资源整合等全流程数据服务，并为用户提供大数据云平台搭建服务。