Added CSV dumps: per filetype and per changeset
[mining-tools:gitdm.git] / README
1 The code in this directory makes up the "git data miner," a simple hack
2 which attempts to figure things out from the revision history in a git
3 repository. 
4
5
6 INSTALLING GITDM
7
8 gitdm is a python script and doesn't need to be proper installed like other
9 normal programs. You just have to adjust your PATH variable, pointing it to
10 the directory of gitdm or alternatively create a symbolic link of the script
11 inside /usr/bin.
12
13 Before actually run gitdm you may want also to update the configuration file
14 (gitdm.config) with the needed information.
15
16
17 RUNNING GITDM
18
19 Run it like this:
20
21    git log --numstat -M [details] | gitdm [options]
22
23 The [details] tell git which changesets are of interest; the [options] can
24 be:
25
26         -a      If a patch contains signoff lines from both Andrew Morton 
27                 and Linus Torvalds, omit Linus's.
28
29         -b dir  Specify the base directory to fetch the configuration files.
30
31         -c file Specify the name of the gitdm configuration file.  
32                 By default, "./gitdm.config" is used.
33
34         -d      Omit the developer reports, giving employer information
35                 only. 
36
37         -D      Rather than create the usual statistics, create a 
38         file (datelc) providing lines changed per day, where the first column
39         displays the changes happened only on that day and the second sums
40         the day it happnened with the previous ones. This option is suitable
41         for feeding to a tool like gnuplot.
42
43         -h file Generate HTML output to the given file
44
45         -l num  Only list the top <num> entries in each report.
46
47         -o file Write text output to the given file (default is stdout).
48
49     -p prefix Dump out the database categorized by changeset and by filetype.
50         -r pat  Only generate statistics for changes to files whose 
51                 name matches the given regular expression.
52
53         -s      Ignore Signed-off-by lines which match the author of 
54                 each patch.
55
56         -u      Group all unknown developers under the "(Unknown)"
57                 employer. 
58
59         -z      Dump out the hacker database to "database.dump".
60
61 A typical command line used to generate the "who write 2.6.x" LWN articles
62 looks like:
63
64     git log --numstat -M v2.6.19..v2.6.20 | \
65         gitdm -u -s -a -o results -h results.html
66
67
68 CONFIGURATION FILE
69
70 The main purpose of the configuration file is to direct the mapping of
71 email addresses onto employers.  Please note that the config file parser is
72 exceptionally stupid and unrobust at this point, but it gets the job done.  
73
74 Blank lines and lines beginning with "#" are ignored.  Everything else
75 specifies a file with some sort of mapping:
76
77 EmailAliases file
78
79         Developers often post code under a number of different email
80         addresses, but it can be desirable to group them all together in
81         the statistics.  An EmailAliases file just contains a bunch of
82         lines of the form:
83
84                 alias@address  canonical@address
85
86         Any patches originating from alias@address will be treated as if
87         they had come from canonical@address.
88
89
90 EmailMap file
91
92         Map email addresses onto employers.  These files contain lines
93         like:
94
95                 [user@]domain  employer  [< yyyy-mm-dd]
96
97         If the "user@" portion is missing, all email from the given domain
98         will be treated as being associated with the given employer.  If a
99         date is provided, the entry is only valid up to that date;
100         otherwise it is considered valid into the indefinite future.  This
101         feature can be useful for properly tracking developers' work when
102         they change employers but do not change email addresses.
103
104
105 GroupMap file employer
106
107         This is a variant of EmailMap provided for convenience; it contains
108         email addresses only, all of which are associated with the given
109         employer.
110
111 OTHER TOOLS
112
113 A few other tools have been added to this repository:
114
115   treeplot
116         Reads a set of commits, then generates a graphviz file charting the
117         flow of patches into the mainline.  Needs to be smarter, but, then,
118         so does everything else in this directory.
119
120   findoldfiles
121         Simple brute-force crawler which outputs the names of any files
122         which have not been touched since the original (kernel) commit.
123
124   committags
125         I needed to be able to quickly associate a given commit with the
126         major release which contains it.  First attempt used 
127         "git tags --contains="; after it ran for a solid week, I concluded
128         there must be a better way.  This tool just reads through the repo,
129         remembering tags, and creating a Python dictionary containing the
130         association.  The result is an ugly 10mb pickle file, but, even so,
131         it's still a better way.
132
133   linetags
134         Crawls through a directory hierarchy, counting how many lines of
135         code are associated with each major release.  Needs the pickle file
136         from committags to get the job done.
137
138
139 NOTES AND CREDITS
140
141 Gitdm was written by Jonathan Corbet; many useful contributions have come
142 from Greg Kroah-Hartman.
143
144 Please note that this tool is provided in the hope that it will be useful,
145 but it is not put forward as an example of excellence in design or
146 implementation.  Hacking on gitdm tends to stop the moment it performs
147 whatever task is required of it at the moment.  Patches to make it less
148 hacky, less ugly, and more robust are welcome.
149
150 Jonathan Corbet
151 corbet@lwn.net