[Обсуждение] C# многопотоки и bruteforce

[Yukikaze]

NerdyCodingKid, ну если делать много запросов с 1 IP то сервер начнет возвращать 500+ ошибки

[slejpni]

Цитата: Сообщение от Yukikaze то есть возможность торможения из за реализации метода SendPost вы даже не рассматриваете?

кхм, функция далеко не идеальна.. уверен что ее можно оптимизироват, но не думаю что есть что-то.. что скажется критичней инвока..

public string SendPost(string url, string postData, int ajax, string cookies)
        {
            string HTML = ""; 
            string cook = "";
 
            //ServicePointManager.ServerCertificateValidationCallback = delegate { return true; };

            if (url == "0") return "0";
            HttpWebRequest mRequest = (HttpWebRequest)HttpWebRequest.Create(url);
            //mRequest.Proxy = new WebProxy("127.0.0.1", 8888); 
            if (postData != "") { mRequest.Method = "POST"; }
            else { mRequest.Method = "GET"; }

            mRequest.Referer = url;
            mRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.57 Safari/537.36";// Мою userAgent который я вытащил блогодоря httpanalyzer
            mRequest.Accept = "image/gif, image/x-xbitmap, image/jpeg,image/pjpeg, application/x-shockwave-flash,application/vnd.ms-excel,application/vnd.ms-powerpoint,application/msword";
            mRequest.Headers.Add("Accept-Language", "ru");
            if (ajax == 1)
            {
                mRequest.Headers.Add("X-Requested-With", "XMLHttpRequest");
                mRequest.ContentType = "application/json;charset=utf-8";

            }
            else
            {
               // mRequest.ContentType = "application/x-www-form-urlencoded";
            }
            mRequest.KeepAlive = false;
            mRequest.AllowAutoRedirect = false;

            if (!string.IsNullOrEmpty(cookies))
            {
                mRequest.Headers.Add(System.Net.HttpRequestHeader.Cookie, cookies);
            }

            string sQuerystring = postData;
            byte[] ByteArr = System.Text.Encoding.GetEncoding(1251).GetBytes(sQuerystring);
            try
            {
                if (postData != "")
                {
                    mRequest.ContentLength = ByteArr.Length;
                    mRequest.GetRequestStream().Write(ByteArr, 0, ByteArr.Length);
                };


                HttpWebResponse mResponse = (HttpWebResponse)mRequest.GetResponse();
                StreamReader mReader;

                mReader = new StreamReader(mResponse.GetResponseStream(), System.Text.Encoding.UTF8);

                HTML = mReader.ReadToEnd();
                cook = mResponse.Headers.ToString();
            }
            catch (Exception err)
            {
                MessageBox.Show(err.ToString() + HTML);
                return "0";
            }
            return cook + HTML;

        }

[NerdyCodingKid]

По инвоку - может, стоит создать статический Query<Action>, в который можно было-бы пихать лямбды, которые бы уже выполнялись в диспатчере через соседний поток? Это было-бы куда шустрее.

[slejpni]

Цитата: Сообщение от warl0ck [Ссылки могут видеть только зарегистрированные пользователи. ]

Мужик, я у тебя в долгу.. стояло два коннекта..
выставил 50, кажется скорость даже превзойдёт перловку.. СПАСИБО!

Всем спасибо за ответы ребят, я даже надежду потерял..
Большое спасибо!

Добавлено через 2 минуты

Цитата: Сообщение от NerdyCodingKid По инвоку - может, стоит создать статический Query<Action>, в который можно было-бы пихать лямбы, которые бы уже выполнялись в диспатчере через соседний поток? Это было-бы куда шустрее.

Кхм, спасибо.. хорошая идея, думаю это здорово оптимизирует, сейчас перепишу..

[Yukikaze]

если прокси не используется то лучше указать это явно

mRequest.Proxy = null;

ибо если этого не сделать то метод GetResponce начнет автоопределение прокси и остановится на прокси по умолчанию, бессмысленный и беспощадный майкрософт решил все за нас.
Из той же области что и лимит соединений - ServicePointManager.Expect100Continue, выставляем его значение в false, получаем прирост скорости в несколько мс.

[NerdyCodingKid]

Как обычно - самый простой вариант оказался самым правильным. Поделись теперь результатами - сколько запросов отправляет вариант на шарпе и на перле? Для сравнения, даже с такой реализацией.

[slejpni]

Цитата: Сообщение от NerdyCodingKid Как обычно - самый простой вариант оказался самым правильным. Поделись теперь результатами - сколько запросов отправляет вариант на шарпе и на перле? Для сравнения, даже с такой реализацией.

C# справился с задачей за 130 секунд
Perl за 140 секунд

Да и с учётом того, что Perl вылетает на потоках > 20 ( такая хрень только на win тачках )
C# даёт значительную фору..

Спасибо ещё раз вам парни..

Добавлено через 4 минуты

Цитата: Сообщение от Yukikaze ServicePointManager.Expect100Continue

Гут, сенкс.. поставил =)

[Sinyss]

Цитата: Сообщение от NerdyCodingKid Э...Т.е., тащемта, например, я немогу зайти одновременно в двух вкладках на одну страницу в браузере, например?

Ну допустим да, порталы то разные бывают...

[NerdyCodingKid]

Цитата: Сообщение от Sinyss Ну допустим да, порталы то разные бывают...

Ога
И на ютубе один ролик не включить в двух вкладках, да?
p.s. Да и в конце концов, попробуй два TCPClient'а кинуть на localhost.

[Nickitee]

Хочу сказать что можно использовать массив, а индекс инкрементить через Interlocked.
Там есть функция атомарного инкремента, тестировал на 500 потоках, ни один не выдал повтора/ошибки, а если использовать lock(object){code} - возможны дубли и exception-ы.

[Sinyss]

Цитата: Сообщение от Nickitee а если использовать lock(object){code} - возможны дубли и exception-ы.

Невозможны...

[Nickitee]

Цитата: Сообщение от Sinyss Невозможны...

Возможны, ещё и как возможны.
А exception-ы раз в 1-2 часа только так летят.

[Sinyss]

Цитата: Сообщение от Nickitee Возможны, ещё и как возможны. А exception-ы раз в 1-2 часа только так летят.

И какие же? Готов поспорить это потому что ты его не правильно используешь )

[NerdyCodingKid]

Мне тоже интересно что за исключения может выдавать lock.

[Sinyss]

Цитата: Сообщение от NerdyCodingKid Мне тоже интересно что за исключения может выдавать lock.

или инкремент инта...