Програмка для удаления дублей ссылок и вычитания списков

[Sliper]

Ну из темы ясно для чего нужна данная тулза, функционал можно посмотреть на скринах.
Написал сам в обеденный перерыв ) весит около 6Mb из-за того что написана на PHP (извините, но я всетаки веб програмист). Писал для себя из-за постоянных зависаний Xseon во время удаления дублей ссылок и ссылок на один домен, вычитание сделал за компанию, в общем может кому нибудь пригодится.

Скрины:



Очень удобно работать с базами ссылок во время работы ксеона (когда он парсит ссылки или работает с форумами), хотя для этих целей можно запустить еще один Xseon (если он у вас работает без нареканий и зависонов). Работу проверял со списком из 1 100 000 ссылок, отработало без глюков.

>>Скачать<<

[XseoN Founder]

если он у вас работает без нареканий и зависонов

Возможно Вы сначала производите загрузку большого списка в программу нажатием НА КНОПКУ "ИЗ ФАЙЛА", если список урлов очень длинный - загрузка в программу может продолжаться ооочень долго, в таких случаях необходимо использовать опцию удаления дублей прямо с жесткого диска - НЕОБХОДИМО ОТМЕТИТЬ ГАЛКУ "ИЗ ФАЙЛА", ЗАТЕМ НАЖАТЬ НА КНОПКУ "УДАЛЕНИЕ ДУБЛЕЙ СТРОК", ЗАТЕМ СОХРАНИТЬ РЕЗУЛЬТАТ, ЗАТЕМ ЖМЕМ НА КНОПКУ "УДАЛЕНИЕ ДУБЛЕЙ ДОМЕНОВ", ВЫБИРАЕМ РАНЕЕ СОХРАНЕННЫЙ РЕЗУЛЬТАТ И ПОСЛЕ ОКОНЧАНИЯ РАБОТЫ ФУНКЦИИ СОХРАНЯЕМ РЕЗУЛЬТАТ.
Видео см. с 1мин. 20 сек. по 3мин. 10 сек.
При удалении дублей строк используется стандартная функция движка программирования, это не наше новшество, соответственно данная функция работает без нареканий, при этом используется асм, удаление дублей доменов - наша реализация.
После запуска удаления дублей доменов или строк используется главный поток программы, который отвечает за отображение и прорисовку интерфейса, удаление дублей строк, особенно доменов - длительная процедура, 500к обрабатывается в зависимости от железа до 5-8 мин., в среднем 3-4 мин, ПРИ ЭТОМ ИНТЕРФЕЙС ПРОГРАММЫ ПОДВИСАЕТ - не реагирует на нажатия, перемещение окна и т.п. - ПРОГРАММА НЕ ВИСНЕТ, можете посмотреть по загрузке процессора и посмотреть состояние процесса. После окончания удаления дублей интерфейс программы оживает. При парсинге программа делит спарсенные ссылки по 500к в целях ускорения удаления дублей.
То что Вы реализовали удаление дублей в пхп - это замечательно, СПАСИБО!

[xerian]

Иога64.4BettBettCompМихаWalkDonaBusiКравSOCOBibeBrasWindFiskFaitOrieEXPETefaFilmизгоWhenКита
ориеMystAfefKasdWindDennPhilMAGIунивсертопуб(МИФFlorГенкDoct(ПерКлушMargElecВелиАлдосигнсерт
PhilPitoпоняCaroштамРокоSonyмореJohnпришhorrРубаРубцВыпуМоскГораCarnСмирДангПервМалиFirsКемп
RomaLoviспраCrosWindKeepВалиProtRolaВоловызыBoatJeweДмит03-0MagiEatiзамкПестISSBMichBestJerz
CosmАртичистHalfменяSideигруKreoИллюLewiJohnStefстраGigaHowaBraiKeseархиConnFranBettSingHelp
BrunспасклейSilvBrotвариFrauElecWorlавтоХолоParaRoseХудоplacДиамнаствоенUltiMystСоснсостavan
ValiFranупакдрузинстправWindКисеTOEFGrifбумаBoscCastOmniWhisкуклЮжинмарш(ДреЛитРNighСоборади
ЛитРЛитРИллюязыкАндрXVIIПращИллюШиллndowDolbКнязXVIIвечепольSunrMitcTangЛогиPlusШишоENVYИллю
НикиМареОстравтоQueeТурызнаюHollкнигХилтEnidIntrСемекнигЛетуСидоКокшУкраФормGallТойбSilvSilv
SilvatacФедеНефеInteулыбКамаNortЛукиBankувлеКоваНовиtuchkasКостФреб

[xerian]

http://audiobookkeeper.ruhttp://cottagenet.ruhttp://eyesvision.ruhttp://eyesvisions.comhttp://factoringfee.ruhttp://filmzones.ruhttp://gadwall.ruhttp://gaffertape.ruhttp://gageboard.ruhttp://gagrule.ruhttp://gallduct.ruhttp://galvanometric.ruhttp://gangforeman.ruhttp://gangwayplatform.ruhttp://garbagechute.ruhttp://gardeningleave.ruhttp://gascautery.ruhttp://gashbucket.ruhttp://gasreturn.ruhttp://gatedsweep.ruhttp://gaugemodel.ruhttp://gaussianfilter.ruhttp://gearpitchdiameter.ru
http://geartreating.ruhttp://generalizedanalysis.ruhttp://generalprovisions.ruhttp://geophysicalprobe.ruhttp://geriatricnurse.ruhttp://getintoaflap.ruhttp://getthebounce.ruhttp://habeascorpus.ruhttp://habituate.ruhttp://hackedbolt.ruhttp://hackworker.ruhttp://hadronicannihilation.ruhttp://haemagglutinin.ruhttp://hailsquall.ruhttp://hairysphere.ruhttp://halforderfringe.ruhttp://halfsiblings.ruhttp://hallofresidence.ruhttp://haltstate.ruhttp://handcoding.ruhttp://handportedhead.ruhttp://handradar.ruhttp://handsfreetelephone.ru
http://hangonpart.ruhttp://haphazardwinding.ruhttp://hardalloyteeth.ruhttp://hardasiron.ruhttp://hardenedconcrete.ruhttp://harmonicinteraction.ruhttp://hartlaubgoose.ruhttp://hatchholddown.ruhttp://haveafinetime.ruhttp://hazardousatmosphere.ruhttp://headregulator.ruhttp://heartofgold.ruhttp://heatageingresistance.ruhttp://heatinggas.ruhttp://heavydutymetalcutting.ruhttp://jacketedwall.ruhttp://japanesecedar.ruhttp://jibtypecrane.ruhttp://jobabandonment.ruhttp://jobstress.ruhttp://jogformation.ruhttp://jointcapsule.ruhttp://jointsealingmaterial.ru
http://journallubricator.ruhttp://juicecatcher.ruhttp://junctionofchannels.ruhttp://justiciablehomicide.ruhttp://juxtapositiontwin.ruhttp://kaposidisease.ruhttp://keepagoodoffing.ruhttp://keepsmthinhand.ruhttp://kentishglory.ruhttp://kerbweight.ruhttp://kerrrotation.ruhttp://keymanassurance.ruhttp://keyserum.ruhttp://kickplate.ruhttp://killthefattedcalf.ruhttp://kilowattsecond.ruhttp://kingweakfish.ruhttp://kinozones.ruhttp://kleinbottle.ruhttp://kneejoint.ruhttp://knifesethouse.ruhttp://knockonatom.ruhttp://knowledgestate.ru
http://kondoferromagnet.ruhttp://labeledgraph.ruhttp://laborracket.ruhttp://labourearnings.ruhttp://labourleasing.ruhttp://laburnumtree.ruhttp://lacingcourse.ruhttp://lacrimalpoint.ruhttp://lactogenicfactor.ruhttp://lacunarycoefficient.ruhttp://ladletreatediron.ruhttp://laggingload.ruhttp://laissezaller.ruhttp://lambdatransition.ruhttp://laminatedmaterial.ruhttp://lammasshoot.ruhttp://lamphouse.ruhttp://lancecorporal.ruhttp://lancingdie.ruhttp://landingdoor.ruhttp://landmarksensor.ruhttp://landreform.ruhttp://landuseratio.ru
http://languagelaboratory.ruhttp://largeheart.ruhttp://lasercalibration.ruhttp://laserlens.ruhttp://laserpulse.ruhttp://laterevent.ruhttp://latrinesergeant.ruhttp://layabout.ruhttp://leadcoating.ruhttp://leadingfirm.ruhttp://learningcurve.ruhttp://leaveword.ruhttp://machinesensible.ruhttp://magneticequator.ruhttp://magnetotelluricfield.ruhttp://mailinghouse.ruhttp://majorconcern.ruhttp://mammasdarling.ruhttp://managerialstaff.ruhttp://manipulatinghand.ruhttp://manualchoke.ruhttp://medinfobooks.ruhttp://mp3lists.ru
http://nameresolution.ruhttp://naphtheneseries.ruhttp://narrowmouthed.ruhttp://nationalcensus.ruhttp://naturalfunctor.ruhttp://navelseed.ruhttp://neatplaster.ruhttp://necroticcaries.ruhttp://negativefibration.ruhttp://neighbouringrights.ruhttp://objectmodule.ruhttp://observationballoon.ruhttp://obstructivepatent.ruhttp://oceanmining.ruhttp://octupolephonon.ruhttp://offlinesystem.ruhttp://offsetholder.ruhttp://olibanumresinoid.ruhttp://onesticket.ruhttp://packedspheres.ruhttp://pagingterminal.ruhttp://palatinebones.ruhttp://palmberry.ru
http://papercoating.ruhttp://paraconvexgroup.ruhttp://parasolmonoplane.ruhttp://parkingbrake.ruhttp://partfamily.ruhttp://partialmajorant.ruhttp://quadrupleworm.ruhttp://qualitybooster.ruhttp://quasimoney.ruhttp://quenchedspark.ruhttp://quodrecuperet.ruhttp://rabbetledge.ruhttp://radialchaser.ruhttp://radiationestimator.ruhttp://railwaybridge.ruhttp://randomcoloration.ruhttp://rapidgrowth.ruhttp://rattlesnakemaster.ruhttp://reachthroughregion.ruhttp://readingmagnifier.ruhttp://rearchain.ruhttp://recessioncone.ruhttp://recordedassignment.ru
http://rectifiersubstation.ruhttp://redemptionvalue.ruhttp://reducingflange.ruhttp://referenceantigen.ruhttp://regeneratedprotein.ruhttp://reinvestmentplan.ruhttp://safedrilling.ruhttp://sagprofile.ruhttp://salestypelease.ruhttp://samplinginterval.ruhttp://satellitehydrology.ruhttp://scarcecommodity.ruhttp://scrapermat.ruhttp://screwingunit.ruhttp://seawaterpump.ruhttp://secondaryblock.ruhttp://secularclergy.ruhttp://seismicefficiency.ruhttp://selectivediffuser.ruhttp://semiasphalticflux.ruhttp://semifinishmachining.ruhttp://spicetrade.ruhttp://spysale.ru
http://stungun.ruhttp://tacticaldiameter.ruhttp://tailstockcenter.ruhttp://tamecurve.ruhttp://tapecorrection.ruhttp://tappingchuck.ruhttp://taskreasoning.ruhttp://technicalgrade.ruhttp://telangiectaticlipoma.ruhttp://telescopicdamper.ruhttp://temperateclimate.ruhttp://temperedmeasure.ruhttp://tenementbuilding.rutuchkashttp://ultramaficrock.ruhttp://ultraviolettesting.ru

[xerian]

XIII

[xerian]

49.6

[xerian]

Bett

[xerian]

Bett

[xerian]

Blaw

[xerian]

Paul