https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html Пришлось придумать как сравнить довольно таки объемные таблицы на предмет одинаковости данных в заданном поле. <br>Сравнивать построчно слишком долго и накладно таскать эти объемы по сети. <br>Выход посчитать md5 сумму по колонке для всех значений.<br><br>Для этого выбираем поле по которому будем сравнивать, поле должно быть независимым от серверов. <br>Делаем из него blob, и считаем md5.<br><br>Пример: есть таблица A и поле B.<br><br> select md5(array_send(array(select B from A order by 1))) as md5;<br><br>после это сравнив md5 суммы с обоих серверов можно утверждать об одинаковости набора данных.<br><br><br>URL: <br>Обсуждается: http://www.opennet.ru/tips/info/1994.shtml<br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#10 Tue, 24 Mar 2009 17:57:17 GMT LIMIT/OFFSET можно использовать на лету. Дальше поиск делением где различия. Нагрузка на БД как раз будет больше при создании файлов. Так как диск используется дважды. + Сортировка по полям съест тотже объем памяти что и при подсчете md5.<br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#9 Tue, 24 Mar 2009 17:49:53 GMT &gt;Собственно говоря а зачем файлы ? <br><br>2 причины:<br>1) меньше нагрузка на БД (?)<br>2) иногда может потребоваться не только констатировать факт различий, но и найти их...<br><br><br><br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#8 Tue, 24 Mar 2009 17:43:00 GMT Собственно говоря а зачем файлы ? <br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#7 Tue, 24 Mar 2009 15:15:56 GMT 1. а что мешает делать вывод поля таблицы в файл (используя нужный order by x,y,z), а далее сравнивать по md5 сами файлы?<br>2. играясь опциями LIMIT/OFFSET можно вычислить "тонкое место" (где данные не совпадают), чтобы не таскать по сети большие объемы. а далее использовать diff...<br>3. Для этой цели можно написать скриптик, который сам все сделает:<br>Напр.:<br>1) с помощью limit/offset выгрузит поле в 100 (1000) файликов.<br>2) md3sum по ним с рез-тами в файл &gt;&gt; md5_1 (1-й сервер), md5_2 (2-й)<br>3) diff md5_1 md5_2<br>4) если найдены расхождения - diff по "несовпадающим" файлам...<br><br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#6 Mon, 23 Mar 2009 16:07:32 GMT Ну ни кто не запрещал добавлять дополнительные условия во WHERE. Я только предложил методику. Так как у меня порядка 30 миллионов записей в таблице. Мне нужно было сравнить наборы данных. И естественно я просматривал некоторые таблиц разбив на сегменты по дате например.<br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#5 Sun, 22 Mar 2009 07:41:14 GMT Это, наверное, выйдет за рамки задачи, которая стояла перед автором. :) Хотя довольно интересно. Если развивать Вашу идею далее, может выйти функция, обращающаяся к системным таблицам pg_*. :)<br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#4 Fri, 20 Mar 2009 15:29:32 GMT В реальности все намного хуже. Мы же не учитываем порядок и ключ у таблицы. На примере: в первой таблице у Васи 100 рублей, у Пети 200. Во второй - наоборот. Просчет md5 по рублям даст один и тот же результат для этих двух таблиц. Т.е. они типа равны :)<br><br>Поэтому в реальной ситуации надо использовать ключевые поля. Пусть в таблице A два поля - обычное B и ключевое K, тогда<br><br>select md5(array_send(array(select md5('' &#124;&#124; K) &#124;&#124; md5('' &#124;&#124; B) from A order by K))) as md5;<br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#3 Fri, 20 Mar 2009 12:11:43 GMT А если "B" текстовое поле и данных уйма, от такого PostgreSQL ресурсы не съест ? <br><br>Для текстовых данных лучше еще один вызов md5 добавить:<br><br>select md5(array_send(array(select md5(B) from A order by 1))) as md5;<br><br><br> https://mobile.opennet.dev/openforum/vsluhforumID3/50856.html#2 Fri, 20 Mar 2009 11:47:16 GMT &gt;Увы, нельзя утверждать. Коллизии никто не отменял. <br><br>Угу. Только в данном случае вероятностью коллизии можно пренебречь. Потому что вероятность получить один хеш для случайных данных почти нулевая. Другое дело, если подбирать данные целенаправленно.<br>