ФОРУМ CASTLE COINS
НУМИЗМАТИКА И АСПЕКТЫ КОЛЛЕКЦИОНИРОВАНИЯ МОНЕТ => НУМИЗМАТИКА => Тема начата: sdfx от 24 Апреля 2023, 07:43:08
-
Начну эту тему.
Пока хочу сделать две темы вот по этим вопросам (из собственного опыта):
1. как просто и быстро сделать свой сайт динамический на Python3 и Django3, с помощью которого можно быстро отклассифицировать и демонстрировать любые монеты своего интереса, и делать выборки по признакам на монетах. Конечно я предполагаю, что люди не просто блестяшки собирают, а изучают какой-то период цивилизационного развития, не важно какой, например, Камбоджа 7-го века, Сумская область 9-го, или Гондурас 17-го. Сразу скажу, что никакого коммерческого интереса, материалы бесплатные есть в общем доступе.
2. Как можно сделать нейронку, с помощью которой, например, можно заменить скан с изображением какой-нибудь кладовой чешуи в количестве, например, 300 штук на одном скане на список номеров КГХ в том же порядке с вероятностью ошибки 2%. Это сложней, не всякий потянет, но рассказать могу. Там да, учиться надо, в РФ 70-120 тыс руб просят за это образование (в зависимости от объема покупаемого к изучению материала) . У меня-то, конечно, бесплатно все есть, но нехорошо чужие права нарушать.
Одним постом, не получится, время столько нет. Несколькими постами изложу. Все это не истина в последней инстанции, но мне не стыдно об этом писать, потому что все на собственном опыте
-
Про организацию сайта по собственным интересам:
Пишу на простейшем русском языке для людей не из сферы IT, а для обыкновенных пользователей (юзеров) IT-продуктов.
Вот вам захотелось сделать свой сайт по какой-то теме, не для того чтоб показывать именно свои монетки, а вообще собрать в одном месте все монетки (исторические доказательства по сути). И чтоб с помощью этого сайта сторонний юзер мог бы определить свою монетку, и чтоб можно было бы там мысли свои излагать (если есть такая необходимость), предложить/поменять/продать что-то лишнее может, и чтоб можно было бы переделывать всю классификацию монет (а такая необходимость часто появляется по мере узнавания нового) и с минимальной трудоемкостью, потому что переклассификация монет это самая трудоемкая задача в нумизматике. Можно еще какие-то задачи перед сайтом ставить, но для начала хотя бы вот про это поговорю (попишу, в смысле).
-
Я про все языки программирования естественно не знаю, да и нет такого человека, который все языки знает, потому что у него бы мозг взорвался на полпути. У этих языков есть определенная классификация, одни для того-то используются, другие для другого. Нам это не важно, потому что важно чтоб мозг не взорвался от этой инфы. Короче, насколько я понял, наиболее ходовыми для целей нумизматики сейчас являются язык PHP и язык Python, есть еще и другие. Я выбрал Python, потому что:
1. во-первых, он как айтишники- программисты-кодеры это называют "верхнеуровневый", т.е. там уже прописано очень много всего для всех вероятных случаев, а тебе только надо-то знать какой у тебя случай и выбрать предлагаемый "инструмент" из этого языка. Для этого там понаписано и понапридумывано огромное количество библиотек команд и всякого-всякого кода. Большие такие расширяющие библиотеки кода называются Фреймворками, те что поменьше (но это совсем не значит, что менее они полезные) называются пакетами расширяющего ПО, "приложухи" разные для конкретных прикладных (и системных тоже и других) целей. Все эти пакеты расширяющего ПО можно, бесплатно, как правило, в одном месте скачать (для Python это ресурс Pypi) - ну, понятно как бы, если привести аналогию App_Store/Google_Play и прочие загрузочные ресурсы для разных платформ.
2. во-вторых он опенсорсный (от слова OpenSourse), т.е. из открытого источника. Это что значит? А это значит, что ты как юзер кем-то написанного языка можешь просмотреть вообще весь код до самых первичных "аксиом". Почему это важно? А потому что есть и языки с закрытым кодом, корпоративным, как правило. Т.е. какая-то корпорейшн понаписала кода очень-очень много и потом говорит: вот ребята-юзеры моего языка пользуйтесь забесплатно, правда я вам не скажу, что реально происходит, когда вы там какой-нить предлагаемый вам инструмент выбираете, потому что, типо, я платил ЗарПлату программистам, и раз так, то право такое имею. А че там реально происходит?, да это понятно: инфа там собирается обо всех пользователях средняя для возможности влияния на юзеров, можно, конечно, и очень конкретно по персоналиям инфу собирать, но это уж перебор, я считаю. Опенсорс - это значит, что в большинстве случаев это все бесплатно. Не, ну если вы закажете какую-то приложуху именно под себя, то придется платить программерам за то, чтоб они вам это накодили, но тогда она скорее всего не будет бесплатной (все от воли заказчика зависит). В-основном все бесплатно. Я, короче, не разу еще ни за что не платил, потому что всегда можно придумать как сделать забесплатно.
-
Так вот, что нужно для того, чтоб овладеть основами языка, чтобы потом иметь возможность использовать приложухи и Фреймворки? Ничего нет проще - нужно поучиться. Как? Варианты такие:
- почитать самоучители (не советую, долго, муторно, дофига ненужного)
- пройти видеокурс основ (я так и сделал). Мне один посоветовали. Ну я его на рутрекере и скачал за 0 рублей, хотя совесть мне сказала, "а ведь человек это писал-работал, как тебе не стыдно". В тот момент как-то не было стыдно, не до того было. Это, если ничего другого не делать, а задаться именно этой целью, то 1-3 месяца изучать, в зависимости от бэкграунда, IQ и свободного времени. Каждый сможет, но от желания его освоить зависит.... то же самое, что с иностранным языком. Это бесплатный вариант, но ссылку даю не на рутрекер, а на лицензионный программный обучающий продукт: (здесь должна была быть ссылка, а там уже вон че написано https://webformyself.com/nashi-kursy/, ну тогда так нужно просто скачать базовый курс Python, а бесплатность уж сами ищите VPN, анонимайзеры, режимы Turbo - в помощь Вам)
-еще есть вариант, если вы хотите не только сайт сделать в будущем, но и какую-нить дополнительную крутую тему освоить, например нейросети. Тогда там, когда курс по нейросетям покупаешь, тебя прежде чем нейросетям учить будут, сначала заставят базовый курс языка (Python) пройти. Этот вариант как бы бесплатный, но он идет как бонус к нейросетям.
-
Ну как бы освоили вы основы языка. Дальше фреймворк вам нужен для сайта-стоительства изучить. В Pythone3 этот фреймворк сейчас Django3 назывется. ВидеоКурс для его изучения тоже забесплатно есть на просторах нЭта, тоже месяца 3 его изучать, и переваривать еще месяца 3.
Ну еще надо основы знать: HTML, CSS, основы архитектуры сети, все не вспомню, тож очень много видеокурсов. Их всегда можно найти за бесплатно. Ищущий Человек сам поймет что ему нужно и сможет найти забесплатно, и найдет.
Вроде все по первому вопросу.
В итоге вы сможете сделать сайт, типо такого: вы скажете убогий, некрасивый, с неоплаченным SSL-сертификатом, потом оплачу, жаба просто душит (поэтому у вас всплывет предупреждение о том, что не надо туда переходить, просто выберете "сделайте исключение для этого сайта"), но там все есть для достижения поставленных целей. Там естесственно стоит яндекс метрика, ну а где она не стоит?
-
В итоге вы сможете сделать сайт, типо такого:
srebrenic.ru
-
на днях про нейросети для нумизматики.... добавлю на простом и понятном русском черным по электронному
-
В виду нехватки времени, постараюсь максимально сжато опять же таки на уровне для USER'ов рассказать о том:
- какие, как мне кажется, есть наиболее употребимые области применения нейросетей в нумизматике (так то их бесконечное количество)
- про образование в области нейросетей
- почему нейросети это хорошо и почему это плохо
-
Про нейросети и их применение
Сейчас, когда говорят про Искусственный Интеллект (он же ИИ, он же Artificial Intelligence, он же AI), то в 95%, наверно или около того, случаев подразумевается автоматизированное использование результатов полученных с помощью анализа первичных данных нейросетями. Сама по себе нейросеть это алгоритм обработки первичных данных с помощью мат.анализа на основе принципов мат. статистики. Я ни в какие определения академические не заглядывал, сам упрощенные определения пишу на основе своего опыта и ощущений, поэтому кто-то что-то возразит и придирется к словам, но не суть, как мне кажется.
Первоначальной основной областью применения нейросетей было классификация данных приведенных к одному стандарту. На примере рассмотрим:
Допустим стоит такая задача, что есть 10 000 вариантов написания разными людьми цифр от 0 до 9. А надо сделать так, чтоб машина фиксируя объективом камеры рисунок вашего почерка безошибочно определяла цифры и переводила ваш почерк в цифровые данные. Что нужно сделать для этого?, а надо получить цифровые изображения в колличестве 10 000 вариантов написания каждой цифры (сделать 10 000 сканов), например цифры "3" размером 100 пикселей на 100 пикселей, цвет черно/белый.
Если вы присвоете каждому пикселю каждого скана из 10 000 (100пикс*100пикс) свой номер, то каждый скан Тройки у вас будет представлять собой 10 тыщ коротких записей, где каждая запись содержит а)номер клетки и б)свойство черная она или белая. Потом вы берете 10 тыщ вариантов таких записей (мы же 10 000 почерков собрали) и обрабатываете нейросетью, предварительно сообщив ей, что всё это варианты написания тройки. Мы не будем рассматривать конкретный логический алгоритм нейросети, кому надо тот изучит в процессе обучения. Нейросеть всасывает всю эту инфу и сообщает на выходе, что типо: "ну я поняла, что тройку все пишут как хотят, но я всё это взвесила, и сделала такую математическо- логическую модельку, где усреднила вероятности закрашивания черным или незакрашивания черным каждого пикселя, поэтому, если мне дадут десять_тыщ_первый_скан, я сама уже вам скажу похоже это на тройку или нет". Ну и так по каждой цифре. В итоге, машина сможет распознавать цифры.
Точно также можно распознавать звуки, сообщая нейросети какие там модуляции и какие звуковые волны соответствуют каким звукам, а те буквам.
Вобщем, любой информационно-содержательный сигнал (графический, аудио, видео, да хоть запахи с помощью газоанаоизатора и др. и пр.) можно привести к некоему ограниченному множеству соответствий заданных вами категорий. Например, все звуки к 33 буквам алфавита русского. Или если собрать 10 млн картинок и сказать ей, что вот эти 3 млн картинок - это собаки, вот эти 3 млн -кошки, а вот еще 4 млн- это люди, и дать ей проанализировать 10-миллионов_первую картинку, то нейросеть сама вам скажет, что с вероятностью 98% это Людь. Ну и хорошо. Т.е. это первое применение в нумизматике нейросетей, а именно использование ее для классификации изображений монет. Т.е., грубо говоря, берем 150 цветных 4-х канальных (RGB + прозрачность) или 3-х канальных_RGB сканов какой-нить чешуйки КГХ №123 и говорим нейросети "дорогая, имей ввиду, что все это изображения одной и той же КГХ №123". И так по всем номерам КГХ. Естесственно, чем больше будет сканов каждой КГХ, тем с большей вероятностью нейросеть будет выдавать правильный ответ.
По большому счету я в нумизматике не вижу других применений для нейросетей, потому что наиболее трудоемкая задача это - определение и классификация . Я думаю этим и ограничусь, хотя количество применений результатов работы нейросети поистинне безгранично
-
Определитель монет, основанный на ИИ - это круто! :ay:
Но я бы использовал ИИ для реконструкции штемпеля.
Проволочные монеты (как и большинство средневековых монет вообще) отличаются тем, что на монетном кружке помещается не все изображение. ИИ способен проанализировав сотни монет одного типа теоретически способен реалистично воссоздать всю композицию монеты целиком.
Опять же потенциально он может помочь в систематизации каталогов и работе над поштемпельном анализом.
-
Определитель монет, основанный на ИИ - это круто! :ay:
Но я бы использовал ИИ для реконструкции штемпеля.
Проволочные монеты (как и большинство средневековых монет вообще) отличаются тем, что на монетном кружке помещается не все изображение. ИИ способен проанализировав сотни монет одного типа теоретически способен реалистично воссоздать всю композицию монеты целиком.
Но это будет фантазийная реконструкция, какая наиболее вероятно может быть, на основании других штемпелей, и я прям сейчас представил Храменкова, Гришина (Клещинова, не в суе будет упомянут), которые меня матом посылают за такие предложения, и правильно сделают, потому что нейросеть не может догадаться (инсайта у нее нет), а может лишь усреднить и предсказать наиболее вероятное.
Опять же потенциально он может помочь в систематизации каталогов и работе над поштемпельном анализом.
не сможет, потому что нужно будет заложить алгоритмы, по которым он должен будет проанализировав загруженный скан и сказать, что загруженная вами картинка не соответствует известным прорисовкам штемпелей, и поэтому нужно внести новую категорию, т.е. новый номер КГХ. Теоретически я представляю как их написать, но легче в гугле сразу работать и забыть про нумизматику. Такие алгоритмы очень не просты
-
Но это будет фантазийная реконструкция, какая наиболее вероятно может быть, на основании других штемпелей, и я прям сейчас представил Храменкова, Гришина (Клещинова, не в суе будет упомянут), которые меня матом посылают за такие предложения, и правильно сделают, потому что нейросеть не может догадаться (инсайта у нее нет), а может лишь усреднить и предсказать наиболее вероятное.
С чего бы это ей быть фантазийной? :be:
Не то что мощная машина с искусственным интеллектом, а любая девочка дизайнер может из десяти фотографий одноштемпельных монет в ФШ собрать и склеить самую что ни на есть максимально объективную реконструкцию штемпеля! Без всяких усреднений и допущений.
-
не сможет, потому что нужно будет заложить алгоритмы, по которым он должен будет проанализировав загруженный скан и сказать, что загруженная вами картинка не соответствует известным прорисовкам штемпелей, и поэтому нужно внести новую категорию, т.е. новый номер КГХ. Теоретически я представляю как их написать, но легче в гугле сразу работать и забыть про нумизматику. Такие алгоритмы очень не просты
Ну и ладно, раз не сможет :)
Если ИИ не годится даже для отсева и сортировки разновидов, то проще найти девочку лаборантку - пусть сидит и рассовывает по папочкам монетки с разными детальками и буковками :D
-
Если ИИ не годится даже для отсева и сортировки разновидов, то проще найти девочку лаборантку - пусть сидит и рассовывает по папочкам монетки с разными детальками и буковками :D
К сожалению, да, пока так ::)
-
Если ИИ не годится даже для отсева и сортировки разновидов, то проще найти девочку лаборантку - пусть сидит и рассовывает по папочкам монетки с разными детальками и буковками
Хотя нет. Если вы нейросети назовете все разновиды , то она рассортирует все изображения по разновидам. Но если вы сами понимаете, что могут появиться новые разновиды, то нейросеть сама не выделит новый разновид, а будет пытаться засунуть монеточку в уже ранее классифицированный разновид.
-
Хотя нет. Если вы нейросети назовете все разновиды, то она рассортирует все изображения по разновидам. Но если вы сами понимаете, что могут появиться новые разновиды, то нейросеть сама не выделит новый разновид, а будет пытаться засунуть монеточку в уже ранее классифицированный разновид.
Нет, достаточно того, чтобы ИИ раскладывал по видам разновидностей известные монеты, отсевая неопределенные типы в отдельные папочки - должна же у нумизматов остаться хоть какая-то работа :)
А потом выявленный разновид подгружается в базу данных и тоже готов для поиска собратьев.
-
Нет, достаточно того, чтобы ИИ раскладывал по видам разновидностей известные монеты, отсевая неопределенные типы в отдельные папочки - должна же у нумизматов остаться хоть какая-то работа :)
А потом выявленный разновид подгружается в базу данных и тоже готов для поиска собратьев.
Ок. Условный пример. Предположим, что мы рассматриваем какую-то монетку, у которой есть разновиды соответствующие монетным дворам, что определяется, допустим некоей геометрической фигурой, которая расположена на 12 часов, и с которой начинается и заканчивается легенда. И вот мы уже по топографии , или по каким-то письменным источникам, знаем, что:
1. кружок - это Париж (их 80%)
2. квадратик - Лион (их 5%)
3. треугольник - Сорбонна (их 0,1%)
....
55. звезда давида - Марсель ( их 0,01%)
но, не исключено, что в какойто деревне (деревнях) еще тоже чето чеканили, но совсем не долго, и очень мало
Поэтому мы в нейросеть при анализе изображений заложим следующую классификацию:
1. кружок - это Париж
2. квадратик - Лион
3. треугольник - Сорбонна
....
55. звезда давида - Марсель
56. прочее - сюда будут попадать все изображения, которые исходя из графического анализа дифферента не соответствуют вышеобозначенным. Это не сложно, мы ей просто скажем, что при ошибке больше чем 30% клади такие фотки в эту папку. ок.
Загрузили ей 10 000 подготовленных изображений, она их отсортировала. Мы сразу полезем в папку прочее... самое интересненькое. А там: а)монеты с дырками(1000 штук), б) монеты с непрочеканом(1000 штук), в) монеты с какойто напайкой или заделанной дыркой (150 штук), г) монеты с надчеканом (прикольно!!!) - 2 штуки, д) действительно какойто новый разновид - овал (один таки попался), е) вообще без дифферента (1 штука)
Ну и хорошо как бы. Но, мы были уверены что дифферент это геометрическая фигура на 12 часов в легенде и такой алгоритм поиска разновидов в машину и заложили. А на самом деле еще в XIX веке нумизмат ЖанЖак Дэ Пупкин отметил, что: дифферент кружок, т.е. Париж является собирательным диферентом, а идентифицирующим место чеканки является дифферент в виде замаскированной под узор буквы под конем (как всегда). Только про то, что он писал в XIX веке все благополучно забыли и об этом в текущем моменте никто не знает. Так и нейросеть это не распознает, если вы ей об этом не скажете. А может там еще какой Жан Ив Дэ Иванов чето писал, но сжег потом.
Так вот чтобы нейросеть все это распознала она должна семантически распознать каждый узорчик на монете (сама она это не сделает, это ей придется подгружать), присвоить соответствие этому узорчику (опять подгружать), а потом сравнивать и думать (это вообще недостижимый космос для ИИ, чтото подобное сделано для нейро-лингвистики - там анализ употребимости слов, порядка слов и пр и др, так на это сколько лет ушло).
-
да, и та же нейро лингвистика, которая реализована во множестве сложнейших математически-логических алгоритмов, она все равно тупая. Например, хотите вы дозвонитьмя оператора какой-нить службы, а в ответ слышите: если то то нажми 1 , если се - нажми 2,..... а если вот не это все че раньше я сказала, тогда жди ответа оперетора, а вместо ответа оператора опять робот, который говорит, что оставь сообщение, и мы сами за тебя поймем на какую цифру от 1 до 9 тебя переключить. И знаете как это все обмануть? Скажите роботу: "Вы мне звонили", он соединит с живым оператором.
-
Закончу эту тему, может, и правда, кому-то пригодится.
По поводу образования достаточного для того, чтобы самостоятельно кодить нейросети и запускать их "в продакшн", т.е. организовывать доступ к ресурсу, на котором можно посмотреть результат работы нейросети по запросу пользователя.
На рынке можно найти дв варианта основных (мне только такие встречались, может и еще какието есть, не знаю тогда):
- образование для менагеров, там им рассказывают какие есть области применения ИИ и в какой области бизнеса как его испрользовать, MIT это всем предлагает за чтото вроде 3000$ , польза от этого курса, как от MBA, только для менагеров, желающих продвинуться по карьероной лестнице, не советую
- образование позволяющее достичь поставленной цели. Оно в любом случае должно включать в себя:
a) Базовый курс Python 3 1-2 месяца
б) Data Science - изучение нескольких библиотек (Pandas, Matplotlib и др) пифоновских для возможности обработки, форматирования и графического представления первичных данных любого объема -месяца 2-3
в) Изучение библиотек написанных непосредственно для нейросетевых технологий - месяцев 6 вместе с практикой.
В РФ бауманка такое образование дает, еще есть УИИhttps://neural-university.ru (https://neural-university.ru) -последние очень понравились, потому что там ничего лишнего и все от тебя только зависит, а график обучения сам определяешь.
Ну, все это возможно только при наличии свободного времени, рабоотать менагером или еще кем-то в паралель - на мой взгляд очень сложно, только если спать по 4 часа.