Октябрь 19 2021 12:49:16
Навигация сайта о компьютерных шахматах
· Chess News- Новости шахмат
· Chess Articles - Статьи о шахматах
· Chess Downloads Free - Шахматы скачать бесплатно для компьютера
· Forum chess - Форум о компьютерных шахматах
· Играть в шахматы онлайн с компьютером
· Chess Links - Каталог шахматных сайтов
· Chess Mail - Написать письмо администрации сайта
· Chess Photo - Наши фото
· Search - Поиск по сайту
· FAQ - Вопросы и ответы
· Правила шахмат ФИДЕ
Темы форума о шахматах
Новые темы
· Слушаем музыку.
· Парк львов "Тайган".
· Смотрим футбол
· Analytical Lab Super...
· Аналитическая лабора...
Обсуждаемые темы
· Дебютные книги. [1100]
· Шахматные пираты.... [1053]
Новые файлы
InfinityChessTours 0... 21052
PlaychessEngineTours... 20443
InfinityChessTours 0... 21862
PlaychessEngineTours... 21911
InfinityChessTours01... 24746
Последние статьи
· Шахматные термины
· Шахматные дебюты
· Макс Эйве
· Александр Алёхин
· Хосе Рауль Капабланка
Просмотр темы
 Распечатать тему
Собираем базу шахматных игр
kosmodrom
#1 Распечатать сообщение
Опубликовано 01-02-2011 03:57
СУПЕРАДМИНИСТРАТОР


Сообщений: 7932
Зарегистрирован: 05.10.08

Где то год назад сменил я место жительства. Была у меня хорошая база шахматных партий, записал на флешку, флешку найти не могу. Решил создать заново, с использованием своего опыта в построении баз на сегодняшний день. Хорошо, флешки нету, но перевёз с собой диски, на одном из дисков была обнаружена чессбейсовская мегабаза-2006, с добавлением партий, актуальная по май 2007 года, насчитывающая 6,3 млн. игр! Очень хорошо, что не потерялась, поскольку там были скачаны игры Playchess-а с сайтов, которых нет давным-давно. Вспомним сайт француженки Джейн-Мишель Леконт, которая провела более 500 турниров, сайт Уильяма Фулера (Таккера) и другие. На другом диске была обнаружена база игр испанца Армандо (Футболо), ёмкостью 1,7 млн. игр, которую мне Дима Канцлер скачал в мае, а вручил в июне 2007, следовательно, в базе за май эта база не была импортирована. Уже кое-что, 8 млн. игр как-никак. Для очистки совести взял несколько игр из базы Армандо и попробовал найти в своей базе, не нашёл, значит его база не импортирована.
Далее стал вопрос о добавлении игр. Создал несколько папок на компьютере и стал, насколько позволял интернет. скачивать туда игры:
1. Папка "Playchess". Качал с нашего сайта, с сайта Спагетти. Так же в эту папку добавил игры тестирования Седатчесс, Пионерчесс и других тестеров. Всё, что накачал, добавил в базу Армандо, получилось 2,7 млн. игр.
2. Папка "люди". Конечно же твики. Как узнать, какие твики качать? В каждом твике есть игра, не имеющая ходов, там текст. Просто упорядочиваем базу по количеству игр, смотрим партии без игр, видим- твик 653 есть в наличии в базе. В 2007 году про этот момент я не знал. Хорошо, 653 твик в мегабазе импортирован, осталось скачать остальные, с 654, почти 200 твиков, дело техники. Smile Всего пролучилось около 400 тыс. игр.
3. Папка "переписка". На нашем сайте есть игры, качал с сайта ИКЧФ, с сайта Альберто (Спагетти) ведут ссылки на игры по-переписке. Всего набралось более 700 тыс. игр, почти 800 тыс.
Итак, получил 4 блока игр:
1. основная база, 6,3 млн. игр, куда будут добавляться остальные игры;
2. игры плейчесс, 2,7 млн. игр
3. игры людей, 400 тыс. игр
4. игры переписочных серверов, 700 тыс. игр.
Эти блоки между собой не связаны, поэтому искать дубли игр следовало внутри каждого блока. Загрузил компьютер поиском дублей, в пределах разумного времени, в самой большой базе ночь искал дубли, три остальные- управился за следующий день. Кое-что нашёл, кое-что может и не нашёл. Вот в твиках есть дубли, кто бы мог подумать? Имена шахматистов немного по другому ставят, а игры одинаковые записываются. Кстати, если было сразу объединить и искать дубли, то время несоизмеримо возростало, практически в геометрической прогрессии, поскольку закэшировать большую базу компьютеру труднее, чем несколько мелких.
Первая попытка соединить эти блоки игр закончилась крахом. Базу то я получил, 10,1 млн. игр, размером 4,3 Гб, но компьютер часто отказывался с ней работать, если сортировать по количеству ходов, например, то шла сортировка, но затем чессбейс вылетала с ошибкой. Я давно подозревал, что у чессбейса есть лимит на работу с базами, до определённого уровня работает, а дальше- не будет. Оставался вопрос, от чего этот лимит зависит, от количества игр (например- до 10 млн) или размера базы? Логика подсказывала, что виноват размер, поскольку размер базы (4,3 Гб) больше, чем размер оперативной памяти компьютера (4Гб), то чессбейсу тяжело отправить в кэш всю базу, он заполняет оперативную память базой, пока память не закончится. Сейчас практически у всех компьютеров размер оперативной памяти 4 Гб. Следовательно, нужно уменьшить размер базы. Это можно сделать только двумя путями:
1. Уменьшить количество игр. Снова открыл каждый блок игр (я же естественно делал резервные копии каждого блока). Уменьшил немного, удалил партии людей менее 10 ходов (было- менее 5 ходов). Зачем держать в базе грубые зевки, либо гроссмейстерские ничьи? База должна давать информацию по дебюту и последующему переходу в миттельшпиль, а короткие партии малоинформативны. Игры компьютеров взял только более 20 ходов, как мы делаем с базами игр на сайте. Эти манипуляции позволили уменьшить базу почти на 100 тыс. игр. Но этого мало.
2. Удалить комментарии к играм. Комментарии- это информация, на какую глубину рыбка думала на каждом ходу, сколько времени тратила на ход, какая скорость у компьютера соперника и т.д. Эта вся информация пишется в тело игры и значительно увеличивает размер базы шахматных игр. Напомню что комментарии удаляются в меню базы правой кнопкой "мыши". Решил обойтись без комментариев ради увеличения числа игр в базе. Без комментариев чессбейс гораздо быстрее осуществляет поиск по базе игр!
После удаления комментариев начал эксплуатировать базу: пробно начал сортировать по количеству ходов, по турнирам и т.д. Всё работает! База есть! *YAHOO* Всего неделю времени потребовалось. Smile Сжатый размер получился всего 1,7 Гб, разархивированный- менее 3 Гб, что вполне достаточно для компьютера с оперативной памятью в 4 Гб!
Если кто не понимает, зачем нужна такая большая база шахматных игр, расскажу, как я использовал раньше подобные базы.
Итак, большую базу шахматных игр можно использовать так:
1. При участии в шахматном турнире, для подготовки к сопернику. Сам пользовался, помогает.
2. Идёт онлайн какого-нибудь матча на плейчесс, к примеру. Сделан ход, все в чате пишут: новинка! А мы смотрим в базу и пишем: так играли много раз уже, этот ход не новинка. Smile
3. Делаем дебютную книгу по этой базе партий. Играем матч в "быстрый адванс" (сойдёт и для "длинного адванса"Wink, навроде чемпионата сайта, или фристайла. Далее выбираем редкий ход, но с хорошей статистикой. и делаем его! Соперник этот ход не знает, и он начинает яростно эксплуатировать компьютер, а у нас "все ходы записаны", мы компьютер не эксплуатируем, мы его эксплуатировали, когда создавали базу. Другими словами- так обеспечивается перевес в дебютной подготовке. Таким способом мы с Сергеем играли во фристайле.
4. Из базы игр выбираем нужные игры и создаём книгу для плейчесса!
Можно придумать и другие варианты, зачем нужна база игр, я описал только то, что применял сам.
Изменил(а) kosmodrom, 01-02-2011 04:01
 
kosmodrom
#2 Распечатать сообщение
Опубликовано 01-02-2011 04:06
СУПЕРАДМИНИСТРАТОР


Сообщений: 7932
Зарегистрирован: 05.10.08

Если кто из сайтовых москвичей (Андрей, Игорь, Сергей) заинтересовался, то можем встретиться, я запишу эту базу на дивиди и дам вам, заодно пива попьём. Smile Пишите в личку или здесь, или звоните, только до 7 февраля, там я улетаю.
Кто не с Москвы, те могут создать себе базу самостоятельно, используя методы, которыми пользовался я.
 
AVP
#3 Распечатать сообщение
Опубликовано 01-02-2011 14:48
1 разряд


Сообщений: 176
Зарегистрирован: 25.10.09

базу можно залить на народ или какой другой файлообменник... для удобства пользователей раздавать ссылки за игры
 
kosmodrom
#4 Распечатать сообщение
Опубликовано 01-02-2011 14:59
СУПЕРАДМИНИСТРАТОР


Сообщений: 7932
Зарегистрирован: 05.10.08

Андрей, мой интернет "Олень" от МТС такой нагрузки не выдержит, я об этом уже писал.
А ты настоящий интернетный человек- чтобы получить диск с файлом, тебе проще этот файл скачать. *YAHOO* Ладно, бы во Владивостоке, к примеру, жил.
 
AVP
#5 Распечатать сообщение
Опубликовано 01-02-2011 15:09
1 разряд


Сообщений: 176
Зарегистрирован: 25.10.09

:-) инновации в действии... время слишком ценно в наше время :-)
 
kosmodrom
#6 Распечатать сообщение
Опубликовано 01-02-2011 21:03
СУПЕРАДМИНИСТРАТОР


Сообщений: 7932
Зарегистрирован: 05.10.08

AVP написал:
:-) инновации в действии... время слишком ценно в наше время :-)

Время в наше время? Smile Твоё время дорого, а моё, получается - так себе, семечки? :D Жесть.
Андрей, все мы куда-нибудь спешим, чего то хотим достичь (обычно- денег), деньги в наших глазах, и ничего больше. Это путь белки в колесе. Такая это всё ерунда, это абсолютно тупиковый путь. Может я старомоден (на языке спешащих), но я знаю, что о вечных ценностях нельзя забывать в суете жизни. Слышал ли ты поговорку: "хочешь рассмешить Бога- расскажи ему о своих планах"?
По делу.
Я кое-что, немного, в жизни умею делать хорошо, в частности: делать дебютные книги и базы шахматных партий. Это для души, это не за деньги. Мою базу не купить ни за какие деньги, и не скачать нигде. И базу, на которую я потратил столько сил и времени- я не отдам в общий доступ, никогда! Потому что это уже не база будет, мне придётся делать базу лучше этой, для себя. На эту базу мой компьютер потратил неделю беспрерывной работы (я то спал, компьютер- не спал, но неделю я интенсивно размышлял, как сделать хорошую базу).
У тебя хороший интернет? Есть вариант, но он потребует твоего драгоценного времени. Мне нужен хороший интернет (например- твой), я закину базу на сайт (ненавижу файлообменники), закину в папку на FTP так, что этот файл (1,7 Гб) не будет виден среди файлов сайта, но будет доступен для скачивания. После этого дадим ссылку в закрытом разделе.
 
AVP
#7 Распечатать сообщение
Опубликовано 01-02-2011 23:01
1 разряд


Сообщений: 176
Зарегистрирован: 25.10.09

Юра, в ценностях я тоже кое что понимаю, поэтому с уважением отношусь не только к своему труду, но и к труду других людей. Я уже предлагал тебе свой комп, поэтому звони, зальем без проблем... а если нужно можно и мой комп заставить что нить посчитать...
 
kosmodrom
#8 Распечатать сообщение
Опубликовано 02-02-2011 00:02
СУПЕРАДМИНИСТРАТОР


Сообщений: 7932
Зарегистрирован: 05.10.08

Ок, завтра днём позвоню, сегодня поздно уже. Нужно:
1. Хороший интернет- закинем базу на сайт, дадим ссылку для своих.
2. Поискать дубли, я не до конца искал. Это- необязательно. Потому что это займёт чудовищно много времени работы компьютера, бывают моменты, когда человек быстрее удалит дубли, чем компьютер, ну в общем, это по телефону.
P.S. А что там Серёга Макаров? На сайт не ходит? А база ему ведь нужна, очень нужна, сам говорил. Smile Может и ему позвонить завтра? Smile
 
ivanp
#9 Распечатать сообщение
Опубликовано 04-02-2011 11:04
Гроссмейстер


Сообщений: 700
Зарегистрирован: 10.10.08

Что касается баз... Я б свои игры мог переправить. База весит не в архиве около 20 Гб. Инновации помогут залить...
 
kosmodrom
#10 Распечатать сообщение
Опубликовано 04-02-2011 14:10
СУПЕРАДМИНИСТРАТОР


Сообщений: 7932
Зарегистрирован: 05.10.08

ivanp написал:
Что касается баз... Я б свои игры мог переправить. База весит не в архиве около 20 Гб.

Ваня, ты когда в последний раз искал что-нибудь в базе? Партии определённого игрока, или дубли игр? Только честно. Smile В такой базе ничего найти невозможно, нужен очень мощный компьютер с огромным количеством оперативной памяти, и я думаю, у тебя такого нет.
 
AntiMaster
#11 Распечатать сообщение
Опубликовано 16-12-2018 04:56
Аватар пользователя

СУПЕРГРОССМЕЙСТЕР


Сообщений: 5615
Зарегистрирован: 17.01.10

Разве только сильный компьютер для этого нужен??
 
Alex Hard
#12 Распечатать сообщение
Опубликовано 20-12-2018 18:05
Аватар пользователя

Международный гроссмейстер


Сообщений: 1576
Зарегистрирован: 15.04.17

А чё базы в Чесс Бейсе 14 дубли ищется на ура, у меня была база на 13 лимонов стало из нее 9 , нормально прогнал, но сутки поиск шел, а ЧБ15 не потянул ее и сдох, да и вообще с ЧБ15 косяков много
ICCF - 2369
PlayChess - 2640
Шахматная Планета 2621
 
Перейти на форум:
Авторизация
Логин

Пароль



Вы не зарегистрированы?
Нажмите здесь для регистрации.

Забыли пароль?
Запросите новый здесь.
Сейчас на сайте
· Гостей: 9

· Пользователей: 0

· Всего пользователей: 1,643
· Новый пользователь: LaoTshung
Посетители сайта
gl201600:23:44
Regulus01:02:09
Mihachess01:59:31
Corsar03:43:55
Alex Hard05:26:11
Zunkor14:35:02
ZRS15:11:26
KERCH16:46:34
gladiator187 1 день
kosmodrom 2 дня
Мини-чат
Вы должны авторизироваться, чтобы добавить сообщение.

19/10/2021 11:47
Друзья! Пожалуйста, подскажите информацию об Иване Панитевском (Кевине). С начала августа нет о нем вестей, тревожно.

18/10/2021 13:30
Юрец , чего тянешь резину в своей группе кандидатской Европы? Все игроки тебя ждут , 3 игры за тобой, поражения в них что-ли будут , поэтому и маринуешь?

17/10/2021 01:09
Давайте, за победой, парни! И дама одна у нас!

16/10/2021 22:56
spartak

16/10/2021 18:22
Поздравляю всех с началом ЛЧ 9 _2_4

Время загрузки: 0,30 секунд 39,957,322 уникальных посетителей
;