Remove unnecessary const casts.
[svn2git:cuboxs-uqs-svn2git.git] / src / svn.cpp
1 /*
2  *  Copyright (C) 2007  Thiago Macieira <thiago@kde.org>
3  *
4  *  This program is free software: you can redistribute it and/or modify
5  *  it under the terms of the GNU General Public License as published by
6  *  the Free Software Foundation, either version 3 of the License, or
7  *  (at your option) any later version.
8  *
9  *  This program is distributed in the hope that it will be useful,
10  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
11  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12  *  GNU General Public License for more details.
13  *
14  *  You should have received a copy of the GNU General Public License
15  *  along with this program.  If not, see <http://www.gnu.org/licenses/>.
16  */
17
18 /*
19  * Based on svn-fast-export by Chris Lee <clee@kde.org>
20  * License: MIT <http://www.opensource.org/licenses/mit-license.php>
21  * URL: git://repo.or.cz/fast-import.git http://repo.or.cz/w/fast-export.git
22  */
23
24 #define _XOPEN_SOURCE
25 #define _LARGEFILE_SUPPORT
26 #define _LARGEFILE64_SUPPORT
27
28 #include "svn.h"
29 #include "CommandLineParser.h"
30
31 #include <unistd.h>
32 #include <string.h>
33 #include <stdio.h>
34 #include <time.h>
35 #include <unistd.h>
36
37 #include <apr_lib.h>
38 #include <apr_getopt.h>
39 #include <apr_general.h>
40
41 #include <svn_fs.h>
42 #include <svn_pools.h>
43 #include <svn_repos.h>
44 #include <svn_types.h>
45
46 #include <QFile>
47 #include <QLinkedList>
48 #include <QPair>
49 #include <QDebug>
50
51 #include "repository.h"
52
53 #undef SVN_ERR
54 #define SVN_ERR(expr) SVN_INT_ERR(expr)
55
56 typedef QList<Rules::Match> MatchRuleList;
57 typedef QHash<QString, Repository *> RepositoryHash;
58 typedef QHash<QByteArray, QByteArray> IdentityHash;
59
60 class AprAutoPool
61 {
62     apr_pool_t *pool;
63     AprAutoPool(const AprAutoPool &);
64     AprAutoPool &operator=(const AprAutoPool &);
65 public:
66     inline AprAutoPool(apr_pool_t *parent = NULL)
67         { pool = svn_pool_create(parent); }
68     inline ~AprAutoPool()
69         { svn_pool_destroy(pool); }
70
71     inline void clear() { svn_pool_clear(pool); }
72     inline apr_pool_t *data() const { return pool; }
73     inline operator apr_pool_t *() const { return pool; }
74 };
75
76 class SvnPrivate
77 {
78 public:
79     QList<MatchRuleList> allMatchRules;
80     RepositoryHash repositories;
81     IdentityHash identities;
82
83     SvnPrivate(const QString &pathToRepository);
84     ~SvnPrivate();
85     int youngestRevision();
86     int exportRevision(int revnum);
87
88     int openRepository(const QString &pathToRepository);
89
90 private:
91     AprAutoPool global_pool;
92     svn_fs_t *fs;
93     svn_revnum_t youngest_rev;
94 };
95
96 void Svn::initialize()
97 {
98     // initialize APR or exit
99     if (apr_initialize() != APR_SUCCESS) {
100         fprintf(stderr, "You lose at apr_initialize().\n");
101         exit(1);
102     }
103
104     // static destructor
105     static struct Destructor { ~Destructor() { apr_terminate(); } } destructor;
106 }
107
108 Svn::Svn(const QString &pathToRepository)
109     : d(new SvnPrivate(pathToRepository))
110 {
111 }
112
113 Svn::~Svn()
114 {
115     delete d;
116 }
117
118 void Svn::setMatchRules(const QList<MatchRuleList> &allMatchRules)
119 {
120     d->allMatchRules = allMatchRules;
121 }
122
123 void Svn::setRepositories(const RepositoryHash &repositories)
124 {
125     d->repositories = repositories;
126 }
127
128 void Svn::setIdentityMap(const IdentityHash &identityMap)
129 {
130     d->identities = identityMap;
131 }
132
133 int Svn::youngestRevision()
134 {
135     return d->youngestRevision();
136 }
137
138 bool Svn::exportRevision(int revnum)
139 {
140     return d->exportRevision(revnum) == EXIT_SUCCESS;
141 }
142
143 SvnPrivate::SvnPrivate(const QString &pathToRepository)
144     : global_pool(NULL)
145 {
146     if( openRepository(pathToRepository) != EXIT_SUCCESS) {
147         qCritical() << "Failed to open repository";
148         exit(1);
149     }
150
151     // get the youngest revision
152     svn_fs_youngest_rev(&youngest_rev, fs, global_pool);
153 }
154
155 SvnPrivate::~SvnPrivate()
156 {
157     svn_pool_destroy(global_pool);
158 }
159
160 int SvnPrivate::youngestRevision()
161 {
162     return youngest_rev;
163 }
164
165 int SvnPrivate::openRepository(const QString &pathToRepository)
166 {
167     svn_repos_t *repos;
168     QString path = pathToRepository;
169     while (path.endsWith('/')) // no trailing slash allowed
170         path = path.mid(0, path.length()-1);
171     SVN_ERR(svn_repos_open(&repos, QFile::encodeName(path), global_pool));
172     fs = svn_repos_fs(repos);
173
174     return EXIT_SUCCESS;
175 }
176
177 enum RuleType { AnyRule = 0, NoIgnoreRule = 0x01, NoRecurseRule = 0x02 };
178
179 static MatchRuleList::ConstIterator
180 findMatchRule(const MatchRuleList &matchRules, int revnum, const QString &current,
181               int ruleMask = AnyRule)
182 {
183     MatchRuleList::ConstIterator it = matchRules.constBegin(),
184                                 end = matchRules.constEnd();
185     for ( ; it != end; ++it) {
186         if (it->minRevision > revnum)
187             continue;
188         if (it->maxRevision != -1 && it->maxRevision < revnum)
189             continue;
190         if (it->action == Rules::Match::Ignore && ruleMask & NoIgnoreRule)
191             continue;
192         if (it->action == Rules::Match::Recurse && ruleMask & NoRecurseRule)
193             continue;
194         if (it->rx.indexIn(current) == 0) {
195             Stats::instance()->ruleMatched(*it, revnum);
196             return it;
197         }
198     }
199
200     // no match
201     return end;
202 }
203
204 static void splitPathName(const Rules::Match &rule, const QString &pathName, QString *svnprefix_p,
205                           QString *repository_p, QString *branch_p, QString *path_p)
206 {
207     QString svnprefix = pathName;
208     svnprefix.truncate(rule.rx.matchedLength());
209
210     if (svnprefix_p) {
211         *svnprefix_p = svnprefix;
212     }
213
214     if (repository_p) {
215         *repository_p = svnprefix;
216         repository_p->replace(rule.rx, rule.repository);
217     }
218
219     if (branch_p) {
220         *branch_p = svnprefix;
221         branch_p->replace(rule.rx, rule.branch);
222     }
223
224     if (path_p) {
225         QString prefix = svnprefix;
226         prefix.replace(rule.rx, rule.prefix);
227         *path_p = prefix + pathName.mid(svnprefix.length());
228     }
229 }
230
231 static int pathMode(svn_fs_root_t *fs_root, const char *pathname, apr_pool_t *pool)
232 {
233     svn_string_t *propvalue;
234     SVN_ERR(svn_fs_node_prop(&propvalue, fs_root, pathname, "svn:executable", pool));
235     int mode = 0100644;
236     if (propvalue)
237         mode = 0100755;
238
239     return mode;
240 }
241
242 svn_error_t *QIODevice_write(void *baton, const char *data, apr_size_t *len)
243 {
244     QIODevice *device = reinterpret_cast<QIODevice *>(baton);
245     device->write(data, *len);
246
247     while (device->bytesToWrite() > 32*1024) {
248         if (!device->waitForBytesWritten(-1)) {
249             qFatal("Failed to write to process: %s", qPrintable(device->errorString()));
250             return svn_error_createf(APR_EOF, SVN_NO_ERROR, "Failed to write to process: %s",
251                                      qPrintable(device->errorString()));
252         }
253     }
254     return SVN_NO_ERROR;
255 }
256
257 static svn_stream_t *streamForDevice(QIODevice *device, apr_pool_t *pool)
258 {
259     svn_stream_t *stream = svn_stream_create(device, pool);
260     svn_stream_set_write(stream, QIODevice_write);
261
262     return stream;
263 }
264
265 static int dumpBlob(Repository::Transaction *txn, svn_fs_root_t *fs_root,
266                     const char *pathname, const QString &finalPathName, apr_pool_t *pool)
267 {
268     AprAutoPool dumppool(pool);
269     // what type is it?
270     int mode = pathMode(fs_root, pathname, dumppool);
271
272     svn_filesize_t stream_length;
273
274     SVN_ERR(svn_fs_file_length(&stream_length, fs_root, pathname, dumppool));
275
276     svn_stream_t *in_stream, *out_stream;
277     if (!CommandLineParser::instance()->contains("dry-run")) {
278         // open the file
279         SVN_ERR(svn_fs_file_contents(&in_stream, fs_root, pathname, dumppool));
280     }
281
282     // maybe it's a symlink?
283     svn_string_t *propvalue;
284     SVN_ERR(svn_fs_node_prop(&propvalue, fs_root, pathname, "svn:special", dumppool));
285     if (propvalue) {
286         apr_size_t len = strlen("link ");
287         if (!CommandLineParser::instance()->contains("dry-run")) {
288             QByteArray buf;
289             buf.reserve(len);
290             SVN_ERR(svn_stream_read(in_stream, buf.data(), &len));
291             if (len == strlen("link ") && strncmp(buf, "link ", len) == 0) {
292                 mode = 0120000;
293                 stream_length -= len;
294             } else {
295                 //this can happen if a link changed into a file in one commit
296                 qWarning("file %s is svn:special but not a symlink", pathname);
297                 // re-open the file as we tried to read "link "
298                 svn_stream_close(in_stream);
299                 SVN_ERR(svn_fs_file_contents(&in_stream, fs_root, pathname, dumppool));
300             }
301         }
302     }
303
304     QIODevice *io = txn->addFile(finalPathName, mode, stream_length);
305
306     if (!CommandLineParser::instance()->contains("dry-run")) {
307         // open a generic svn_stream_t for the QIODevice
308         out_stream = streamForDevice(io, dumppool);
309         SVN_ERR(svn_stream_copy(in_stream, out_stream, dumppool));
310         svn_stream_close(out_stream);
311         svn_stream_close(in_stream);
312
313         // print an ending newline
314         io->putChar('\n');
315     }
316
317     return EXIT_SUCCESS;
318 }
319
320 static int recursiveDumpDir(Repository::Transaction *txn, svn_fs_root_t *fs_root,
321                             const QByteArray &pathname, const QString &finalPathName,
322                             apr_pool_t *pool)
323 {
324     // get the dir listing
325     apr_hash_t *entries;
326     SVN_ERR(svn_fs_dir_entries(&entries, fs_root, pathname, pool));
327     AprAutoPool dirpool(pool);
328
329     for (apr_hash_index_t *i = apr_hash_first(pool, entries); i; i = apr_hash_next(i)) {
330         dirpool.clear();
331         const void *vkey;
332         void *value;
333         apr_hash_this(i, &vkey, NULL, &value);
334
335         svn_fs_dirent_t *dirent = reinterpret_cast<svn_fs_dirent_t *>(value);
336         QByteArray entryName = pathname + '/' + dirent->name;
337         QString entryFinalName = finalPathName + QString::fromUtf8(dirent->name);
338
339         if (dirent->kind == svn_node_dir) {
340             entryFinalName += '/';
341             if (recursiveDumpDir(txn, fs_root, entryName, entryFinalName, dirpool) == EXIT_FAILURE)
342                 return EXIT_FAILURE;
343         } else if (dirent->kind == svn_node_file) {
344             printf("+");
345             fflush(stdout);
346             if (dumpBlob(txn, fs_root, entryName, entryFinalName, dirpool) == EXIT_FAILURE)
347                 return EXIT_FAILURE;
348         }
349     }
350
351     return EXIT_SUCCESS;
352 }
353
354 static bool wasDir(svn_fs_t *fs, int revnum, const char *pathname, apr_pool_t *pool)
355 {
356     AprAutoPool subpool(pool);
357     svn_fs_root_t *fs_root;
358     if (svn_fs_revision_root(&fs_root, fs, revnum, subpool) != SVN_NO_ERROR)
359         return false;
360
361     svn_boolean_t is_dir;
362     if (svn_fs_is_dir(&is_dir, fs_root, pathname, subpool) != SVN_NO_ERROR)
363         return false;
364
365     return is_dir;
366 }
367
368 time_t get_epoch(const char* svn_date)
369 {
370     struct tm tm;
371     memset(&tm, 0, sizeof tm);
372     QByteArray date(svn_date, strlen(svn_date) - 8);
373     strptime(date, "%Y-%m-%dT%H:%M:%S", &tm);
374     return timegm(&tm);
375 }
376
377 class SvnRevision
378 {
379 public:
380     AprAutoPool pool;
381     QHash<QString, Repository::Transaction *> transactions;
382     QList<MatchRuleList> allMatchRules;
383     RepositoryHash repositories;
384     IdentityHash identities;
385
386     svn_fs_t *fs;
387     svn_fs_root_t *fs_root;
388     int revnum;
389
390     // must call fetchRevProps first:
391     QByteArray authorident;
392     QByteArray log;
393     uint epoch;
394     bool ruledebug;
395     bool propsFetched;
396     bool needCommit;
397
398     SvnRevision(int revision, svn_fs_t *f, apr_pool_t *parent_pool)
399         : pool(parent_pool), fs(f), fs_root(0), revnum(revision), propsFetched(false)
400     {
401         ruledebug = CommandLineParser::instance()->contains( QLatin1String("debug-rules"));
402     }
403
404     int open()
405     {
406         SVN_ERR(svn_fs_revision_root(&fs_root, fs, revnum, pool));
407         return EXIT_SUCCESS;
408     }
409
410     int prepareTransactions();
411     int fetchRevProps();
412     int commit();
413
414     int exportEntry(const char *path, const svn_fs_path_change_t *change, apr_hash_t *changes);
415     int exportDispatch(const char *path, const svn_fs_path_change_t *change,
416                        const char *path_from, svn_revnum_t rev_from,
417                        apr_hash_t *changes, const QString &current, const Rules::Match &rule,
418                        const MatchRuleList &matchRules, apr_pool_t *pool);
419     int exportInternal(const char *path, const svn_fs_path_change_t *change,
420                        const char *path_from, svn_revnum_t rev_from,
421                        const QString &current, const Rules::Match &rule, const MatchRuleList &matchRules);
422     int recurse(const char *path, const svn_fs_path_change_t *change,
423                 const char *path_from, const MatchRuleList &matchRules, svn_revnum_t rev_from,
424                 apr_hash_t *changes, apr_pool_t *pool);
425 };
426
427 int SvnPrivate::exportRevision(int revnum)
428 {
429     SvnRevision rev(revnum, fs, global_pool);
430     rev.allMatchRules = allMatchRules;
431     rev.repositories = repositories;
432     rev.identities = identities;
433
434     // open this revision:
435     printf("Exporting revision %d ", revnum);
436     fflush(stdout);
437
438     if (rev.open() == EXIT_FAILURE)
439         return EXIT_FAILURE;
440
441     if (rev.prepareTransactions() == EXIT_FAILURE)
442         return EXIT_FAILURE;
443
444     if (!rev.needCommit) {
445         printf(" nothing to do\n");
446         return EXIT_SUCCESS;    // no changes?
447     }
448
449     if (rev.commit() == EXIT_FAILURE)
450         return EXIT_FAILURE;
451
452     printf(" done\n");
453     return EXIT_SUCCESS;
454 }
455
456 int SvnRevision::prepareTransactions()
457 {
458     QLinkedList< QPair<svn_fs_path_change_t*, const char*> > sortedChanges;
459     // find out what was changed in this revision:
460     apr_hash_t *changes;
461     SVN_ERR(svn_fs_paths_changed(&changes, fs_root, pool));
462     for (apr_hash_index_t *i = apr_hash_first(pool, changes); i; i = apr_hash_next(i)) {
463         const void *vkey;
464         void *value;
465         apr_hash_this(i, &vkey, NULL, &value);
466         const char *key = reinterpret_cast<const char *>(vkey);
467         svn_fs_path_change_t *change = reinterpret_cast<svn_fs_path_change_t *>(value);
468
469         // If we mix path deletions with path adds/replaces we might erase a branch after that it has been reset -> history truncated
470         if(change->change_kind == svn_fs_path_change_delete) {
471             sortedChanges.prepend( qMakePair(change, key) );
472         } else {
473             sortedChanges.append( qMakePair(change, key) );
474         }
475     }
476
477     QPair<svn_fs_path_change_t*, const char*> pair;
478     foreach (pair, sortedChanges) {
479         if (exportEntry(pair.second, pair.first, changes) == EXIT_FAILURE)
480             return EXIT_FAILURE;
481     }
482         return EXIT_SUCCESS;
483 }
484
485 int SvnRevision::fetchRevProps()
486 {
487     if( propsFetched )
488         return EXIT_SUCCESS;
489
490     apr_hash_t *revprops;
491     SVN_ERR(svn_fs_revision_proplist(&revprops, fs, revnum, pool));
492     svn_string_t *svnauthor = (svn_string_t*)apr_hash_get(revprops, "svn:author", APR_HASH_KEY_STRING);
493     svn_string_t *svndate = (svn_string_t*)apr_hash_get(revprops, "svn:date", APR_HASH_KEY_STRING);
494     svn_string_t *svnlog = (svn_string_t*)apr_hash_get(revprops, "svn:log", APR_HASH_KEY_STRING);
495
496     log = svnlog->data;
497     authorident = svnauthor ? identities.value(svnauthor->data) : QByteArray();
498     epoch = get_epoch(svndate->data);
499     if (authorident.isEmpty()) {
500         if (!svnauthor || svn_string_isempty(svnauthor))
501             authorident = "nobody <nobody@localhost>";
502         else
503             authorident = svnauthor->data + QByteArray(" <") +
504                           svnauthor->data + QByteArray("@localhost>");
505     }
506     propsFetched = true;
507     return EXIT_SUCCESS;
508 }
509
510 int SvnRevision::commit()
511 {
512     // now create the commit
513     if (fetchRevProps() != EXIT_SUCCESS)
514         return EXIT_FAILURE;
515     foreach (Repository *repo, repositories.values()) {
516         repo->commit();
517     }
518
519     foreach (Repository::Transaction *txn, transactions) {
520         txn->setAuthor(authorident);
521         txn->setDateTime(epoch);
522         txn->setLog(log);
523
524         txn->commit();
525         delete txn;
526     }
527
528     return EXIT_SUCCESS;
529 }
530
531 int SvnRevision::exportEntry(const char *key, const svn_fs_path_change_t *change,
532                              apr_hash_t *changes)
533 {
534     AprAutoPool revpool(pool.data());
535     QString current = QString::fromUtf8(key);
536
537     // was this copied from somewhere?
538     svn_revnum_t rev_from;
539     const char *path_from;
540     SVN_ERR(svn_fs_copied_from(&rev_from, &path_from, fs_root, key, revpool));
541
542     // is this a directory?
543     svn_boolean_t is_dir;
544     SVN_ERR(svn_fs_is_dir(&is_dir, fs_root, key, revpool));
545     if (is_dir) {
546         if (change->change_kind == svn_fs_path_change_modify ||
547             change->change_kind == svn_fs_path_change_add) {
548             if (path_from == NULL) {
549                 // freshly added directory, or modified properties
550                 // Git doesn't handle directories, so we don't either
551                 //qDebug() << "   mkdir ignored:" << key;
552                 return EXIT_SUCCESS;
553             }
554
555             qDebug() << "   " << key << "was copied from" << path_from << "rev" << rev_from;
556         } else if (change->change_kind == svn_fs_path_change_replace) {
557             if (path_from == NULL)
558                 qDebug() << "   " << key << "was replaced";
559             else
560                 qDebug() << "   " << key << "was replaced from" << path_from << "rev" << rev_from;
561         } else if (change->change_kind == svn_fs_path_change_reset) {
562             qCritical() << "   " << key << "was reset, panic!";
563             return EXIT_FAILURE;
564         } else {
565             // if change_kind == delete, it shouldn't come into this arm of the 'is_dir' test
566             qCritical() << "   " << key << "has unhandled change kind " << change->change_kind << ", panic!";
567             return EXIT_FAILURE;
568         }
569     } else if (change->change_kind == svn_fs_path_change_delete) {
570         is_dir = wasDir(fs, revnum - 1, key, revpool);
571     }
572
573     if (is_dir)
574         current += '/';
575
576     //MultiRule: loop start
577     //Replace all returns with continue,
578     bool isHandled = false;
579     foreach ( const MatchRuleList matchRules, allMatchRules ) {
580         // find the first rule that matches this pathname
581         MatchRuleList::ConstIterator match = findMatchRule(matchRules, revnum, current);
582         if (match != matchRules.constEnd()) {
583             const Rules::Match &rule = *match;
584             if ( exportDispatch(key, change, path_from, rev_from, changes, current, rule, matchRules, revpool) == EXIT_FAILURE )
585                 return EXIT_FAILURE;
586             isHandled = true;
587         } else if (is_dir && path_from != NULL) {
588             qDebug() << current << "is a copy-with-history, auto-recursing";
589             if ( recurse(key, change, path_from, matchRules, rev_from, changes, revpool) == EXIT_FAILURE )
590                 return EXIT_FAILURE;
591             isHandled = true;
592         } else if (is_dir && change->change_kind == svn_fs_path_change_delete) {
593             qDebug() << current << "deleted, auto-recursing";
594             if ( recurse(key, change, path_from, matchRules, rev_from, changes, revpool) == EXIT_FAILURE )
595                 return EXIT_FAILURE;
596             isHandled = true;
597         }
598     }
599     if ( isHandled ) {
600         return EXIT_SUCCESS;
601     }
602     if (wasDir(fs, revnum - 1, key, revpool)) {
603         qDebug() << current << "was a directory; ignoring";
604     } else if (change->change_kind == svn_fs_path_change_delete) {
605         qDebug() << current << "is being deleted but I don't know anything about it; ignoring";
606     } else {
607         qCritical() << current << "did not match any rules; cannot continue";
608         return EXIT_FAILURE;
609     }
610     return EXIT_SUCCESS;
611 }
612
613 int SvnRevision::exportDispatch(const char *key, const svn_fs_path_change_t *change,
614                                 const char *path_from, svn_revnum_t rev_from,
615                                 apr_hash_t *changes, const QString &current,
616                                 const Rules::Match &rule, const MatchRuleList &matchRules, apr_pool_t *pool)
617 {
618     //if(ruledebug)
619     //  qDebug() << "rev" << revnum << qPrintable(current) << "matched rule:" << rule.lineNumber << "(" << rule.rx.pattern() << ")";
620     switch (rule.action) {
621     case Rules::Match::Ignore:
622         //if(ruledebug)
623         //    qDebug() << "  " << "ignoring.";
624         return EXIT_SUCCESS;
625
626     case Rules::Match::Recurse:
627         if(ruledebug)
628             qDebug() << "rev" << revnum << qPrintable(current) << "matched rule:" << rule.info() << "  " << "recursing.";
629         return recurse(key, change, path_from, matchRules, rev_from, changes, pool);
630
631     case Rules::Match::Export:
632         if(ruledebug)
633             qDebug() << "rev" << revnum << qPrintable(current) << "matched rule:" << rule.info() << "  " << "exporting.";
634         if (exportInternal(key, change, path_from, rev_from, current, rule, matchRules) == EXIT_SUCCESS)
635             return EXIT_SUCCESS;
636         if (change->change_kind != svn_fs_path_change_delete) {
637             if(ruledebug)
638                 qDebug() << "rev" << revnum << qPrintable(current) << "matched rule:" << rule.info() << "  " << "Unable to export non path removal.";
639             return EXIT_FAILURE;
640         }
641         // we know that the default action inside recurse is to recurse further or to ignore,
642         // either of which is reasonably safe for deletion
643         qWarning() << "WARN: deleting unknown path" << current << "; auto-recursing";
644         return recurse(key, change, path_from, matchRules, rev_from, changes, pool);
645     }
646
647     // never reached
648     return EXIT_FAILURE;
649 }
650
651 int SvnRevision::exportInternal(const char *key, const svn_fs_path_change_t *change,
652                                 const char *path_from, svn_revnum_t rev_from,
653                                 const QString &current, const Rules::Match &rule, const MatchRuleList &matchRules)
654 {
655     needCommit = true;
656     QString svnprefix, repository, branch, path;
657     splitPathName(rule, current, &svnprefix, &repository, &branch, &path);
658
659     Repository *repo = repositories.value(repository, 0);
660     if (!repo) {
661         if (change->change_kind != svn_fs_path_change_delete)
662             qCritical() << "Rule" << rule
663                         << "references unknown repository" << repository;
664         return EXIT_FAILURE;
665     }
666
667     printf(".");
668     fflush(stdout);
669 //                qDebug() << "   " << qPrintable(current) << "rev" << revnum << "->"
670 //                         << qPrintable(repository) << qPrintable(branch) << qPrintable(path);
671
672     if (change->change_kind == svn_fs_path_change_delete && current == svnprefix && path.isEmpty()) {
673         if(ruledebug)
674             qDebug() << "repository" << repository << "branch" << branch << "deleted";
675         return repo->deleteBranch(branch, revnum);
676     }
677
678     QString previous;
679     QString prevsvnprefix, prevrepository, prevbranch, prevpath;
680
681     if (path_from != NULL) {
682         previous = QString::fromUtf8(path_from);
683         if (wasDir(fs, rev_from, path_from, pool.data())) {
684             previous += '/';
685         }
686         MatchRuleList::ConstIterator prevmatch =
687             findMatchRule(matchRules, rev_from, previous, NoIgnoreRule);
688         if (prevmatch != matchRules.constEnd()) {
689             splitPathName(*prevmatch, previous, &prevsvnprefix, &prevrepository,
690                           &prevbranch, &prevpath);
691
692         } else {
693             qWarning() << "WARN: SVN reports a \"copy from\" @" << revnum << "from" << path_from << "@" << rev_from << "but no matching rules found! Ignoring copy, treating as a modification";
694             path_from = NULL;
695         }
696     }
697
698     // current == svnprefix => we're dealing with the contents of the whole branch here
699     if (path_from != NULL && current == svnprefix && path.isEmpty()) {
700         if (previous != prevsvnprefix) {
701             // source is not the whole of its branch
702             qDebug() << qPrintable(current) << "is a partial branch of repository"
703                      << qPrintable(prevrepository) << "branch"
704                      << qPrintable(prevbranch) << "subdir"
705                      << qPrintable(prevpath);
706         } else if (prevrepository != repository) {
707             qWarning() << "WARN:" << qPrintable(current) << "rev" << revnum
708                        << "is a cross-repository copy (from repository"
709                        << qPrintable(prevrepository) << "branch"
710                        << qPrintable(prevbranch) << "path"
711                        << qPrintable(prevpath) << "rev" << rev_from << ")";
712         } else if (path != prevpath) {
713             qDebug() << qPrintable(current)
714                      << "is a branch copy which renames base directory of all contents"
715                      << qPrintable(prevpath) << "to" << qPrintable(path);
716             // FIXME: Handle with fast-import 'file rename' facility
717             //        ??? Might need special handling when path == / or prevpath == /
718         } else {
719             if (prevbranch == branch) {
720                 // same branch and same repository
721                 qDebug() << qPrintable(current) << "rev" << revnum
722                          << "is reseating branch" << qPrintable(branch)
723                          << "to an earlier revision"
724                          << qPrintable(previous) << "rev" << rev_from;
725             } else {
726                 // same repository but not same branch
727                 // this means this is a plain branch
728                 qDebug() << qPrintable(repository) << ": branch"
729                          << qPrintable(branch) << "is branching from"
730                          << qPrintable(prevbranch);
731             }
732
733             if (repo->createBranch(branch, revnum, prevbranch, rev_from) == EXIT_FAILURE)
734                 return EXIT_FAILURE;
735
736             if(CommandLineParser::instance()->contains("svn-branches")) {
737                 Repository::Transaction *txn = transactions.value(repository + branch, 0);
738                 if (!txn) {
739                     txn = repo->newTransaction(branch, svnprefix, revnum);
740                     if (!txn)
741                         return EXIT_FAILURE;
742
743                     transactions.insert(repository + branch, txn);
744                 }
745                 if(ruledebug)
746                     qDebug() << "Create a true SVN copy of branch (" << key << "->" << branch << path << ")";
747                 txn->deleteFile(path);
748                 recursiveDumpDir(txn, fs_root, key, path, pool);
749             }
750             if (rule.annotate) {
751                 // create an annotated tag
752                 fetchRevProps();
753                 repo->createAnnotatedTag(branch, svnprefix, revnum, authorident,
754                                          epoch, log);
755             }
756             return EXIT_SUCCESS;
757         }
758     }
759     Repository::Transaction *txn = transactions.value(repository + branch, 0);
760     if (!txn) {
761         txn = repo->newTransaction(branch, svnprefix, revnum);
762         if (!txn)
763             return EXIT_FAILURE;
764
765         transactions.insert(repository + branch, txn);
766     }
767
768     //
769     // If this path was copied from elsewhere, use it to infer _some_
770     // merge points.  This heuristic is fairly useful for tracking
771     // changes across directory re-organizations and wholesale branch
772     // imports.
773     //
774     if (path_from != NULL && prevrepository == repository && prevbranch != branch) {
775         if(ruledebug)
776             qDebug() << "copy from branch" << prevbranch << "to branch" << branch << "@rev" << rev_from;
777         txn->noteCopyFromBranch (prevbranch, rev_from);
778     }
779
780     if (change->change_kind == svn_fs_path_change_replace && path_from == NULL) {
781         if(ruledebug)
782             qDebug() << "replaced with empty path (" << branch << path << ")";
783         txn->deleteFile(path);
784     }
785     if (change->change_kind == svn_fs_path_change_delete) {
786         if(ruledebug)
787             qDebug() << "delete (" << branch << path << ")";
788         txn->deleteFile(path);
789     } else if (!current.endsWith('/')) {
790         if(ruledebug)
791             qDebug() << "add/change file (" << key << "->" << branch << path << ")";
792         dumpBlob(txn, fs_root, key, path, pool);
793     } else {
794         if(ruledebug)
795             qDebug() << "add/change dir (" << key << "->" << branch << path << ")";
796         txn->deleteFile(path);
797         recursiveDumpDir(txn, fs_root, key, path, pool);
798     }
799
800     return EXIT_SUCCESS;
801 }
802
803 int SvnRevision::recurse(const char *path, const svn_fs_path_change_t *change,
804                          const char *path_from, const MatchRuleList &matchRules, svn_revnum_t rev_from,
805                          apr_hash_t *changes, apr_pool_t *pool)
806 {
807     svn_fs_root_t *fs_root = this->fs_root;
808     if (change->change_kind == svn_fs_path_change_delete)
809         SVN_ERR(svn_fs_revision_root(&fs_root, fs, revnum - 1, pool));
810
811     // get the dir listing
812     apr_hash_t *entries;
813     svn_node_kind_t kind;
814     SVN_ERR(svn_fs_check_path(&kind, fs_root, path, pool));
815     if(kind == svn_node_none) {
816         qWarning() << "WARN: Trying to recurse using a nonexistant path" << path << ", ignoring";
817         return EXIT_SUCCESS;
818     }
819
820     SVN_ERR(svn_fs_dir_entries(&entries, fs_root, path, pool));
821
822     AprAutoPool dirpool(pool);
823     for (apr_hash_index_t *i = apr_hash_first(pool, entries); i; i = apr_hash_next(i)) {
824         dirpool.clear();
825         const void *vkey;
826         void *value;
827         apr_hash_this(i, &vkey, NULL, &value);
828
829         svn_fs_dirent_t *dirent = reinterpret_cast<svn_fs_dirent_t *>(value);
830         if (dirent->kind != svn_node_dir)
831             continue;           // not a directory, so can't recurse; skip
832
833         QByteArray entry = path + QByteArray("/") + dirent->name;
834         QByteArray entryFrom;
835         if (path_from)
836             entryFrom = path_from + QByteArray("/") + dirent->name;
837
838         // check if this entry is in the changelist for this revision already
839         svn_fs_path_change_t *otherchange =
840             (svn_fs_path_change_t*)apr_hash_get(changes, entry.constData(), APR_HASH_KEY_STRING);
841         if (otherchange && otherchange->change_kind == svn_fs_path_change_add) {
842             qDebug() << entry << "rev" << revnum
843                      << "is in the change-list, deferring to that one";
844             continue;
845         }
846
847         QString current = QString::fromUtf8(entry);
848         if (dirent->kind == svn_node_dir)
849             current += '/';
850
851         // find the first rule that matches this pathname
852         MatchRuleList::ConstIterator match = findMatchRule(matchRules, revnum, current);
853         if (match != matchRules.constEnd()) {
854             if (exportDispatch(entry, change, entryFrom.isNull() ? 0 : entryFrom.constData(),
855                                rev_from, changes, current, *match, matchRules, dirpool) == EXIT_FAILURE)
856                 return EXIT_FAILURE;
857         } else {
858             qDebug() << current << "rev" << revnum
859                      << "did not match any rules; auto-recursing";
860             if (recurse(entry, change, entryFrom.isNull() ? 0 : entryFrom.constData(),
861                         matchRules, rev_from, changes, dirpool) == EXIT_FAILURE)
862                 return EXIT_FAILURE;
863         }
864     }
865
866     return EXIT_SUCCESS;
867 }