做数据分析求思路和软件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2989 天前的主题，其中的信息可能已经有所发展或是发生改变。

在做数据分析数据导出的原始文件是 txt 文档
分析的是文档内的一些重复数据以及数据归类筛选以及高亮显示
求思路和软件感谢

数据

文档

思路

分析

16 条回复 • 2016-03-02 15:27:54 +08:00

imn1

2016-02-29 09:38:22 +08:00

没搞清你的目的，你说的需求，大部分统计软件 /工具 /语言都能做

lhbc

2016-02-29 09:41:47 +08:00 via Android

目的不明，需求不明，估计不懂编程语言。
只能推荐 Excel 或者 SPSS 了。

cnmusa

2016-02-29 09:47:07 +08:00 via Android

@imn1
txt 文件里面数据比较杂乱不好分析其实目的很简单就是 txt 数据归类筛选高亮

xujunfu

2016-02-29 09:49:26 +08:00

PANDAS

imn1

2016-02-29 09:56:27 +08:00

如果 txt 格式化，要么 2L ，要么 python+pandas
如果没有格式，用正则先理顺

cnmusa

2016-02-29 10:21:35 +08:00 via Android

@imn1 txt 有格式但是排序比较乱有一些软件导入也能自动排序但是这些软件不太会用

原始数据软件上是有各种数据分类的但是导出成 txt 数据就有点乱不是像 Excel 一样条目清晰现在求助的第一步就是导入 txt 先对 txt 文件做出初步清理归类和筛选最好是能自动处理的而且操作简明方便的

然后得到一个比较清晰的数据文件后再来根据数据的归类分析统计高亮什么的感谢回复！！

cnmusa

2016-02-29 10:26:22 +08:00 via Android

@xujunfu 刚刚看了下 PANDAS 感觉太专业了其实用不到这么专业的最好是傻瓜式的都是最基础的数据分析统计没有那么高深复杂

lhbc

2016-02-29 10:42:48 +08:00 via Android

洗数据， Excel 和 SPSS 也能做，自动化也行
无论什么工具，具体清洗规则只能自己写了
一定条件下，甚至随便一个支持正则的工具都能洗

cnmusa

2016-02-29 11:02:20 +08:00 via Android

@lhbc 我刚刚试了一下直接用 Excel 导入数据很乱有没有傻瓜一点的方法

nevin47

2016-02-29 11:23:29 +08:00

Excel 的导入还是很强大的吧，可以自定各种格式。更傻瓜的方法应该很难再找了
LZ 可以的话把数据截一部分上来，大家需要看看究竟是什么样子的，才能给提出合适的建议

yanyanlong

2016-02-29 11:23:33 +08:00

python+pandas 这是最简单的..

lhbc

2016-02-29 12:18:33 +08:00

@cnmusa 数据的分隔是不是有规律的？比如 csv 或者固定的分隔符
导入之后自己做清洗即可

看样子你的数据来源不是很规范，用 GUI 软件，肉眼观察过滤是最好的
如果能统计出固定的规律，用 Python 或者 shell script, VBA 都能自动化整理数据了

然后才是数据分析，图形化的 Excel, SPSS 或者用 Python, R 写点代码都能满足

cnmusa

2016-03-01 07:55:47 +08:00

@yanyanlong 哥呀楼主不是程序员就是普通的小职员想做一点数据统计和分析呀刚刚搜索了一下 python 好复杂呀什么程序函数什么的眼睛都花了

googlefans

2016-03-01 22:14:51 +08:00

yanyanlong

2016-03-02 14:54:49 +08:00

@cnmusa http://shujuguan.cn/ 非敏感数据的话,可以试试这种在线数据分析工具

cnmusa

2016-03-02 15:27:54 +08:00 via Android

@googlefans 敏感数据

做数据分析 求思路和软件

做数据分析求思路和软件