2023-03-09 09:23:37
В Университете Осаки создали лучшую на сегодня машину чтения мыслей, - точнее, визуальных образов, - из популярной программы генерации картинок Stable Diffusion. Нейросеть реконструирует по фМРТ-снимкам активности мозга изображения, на которые смотрит человек, - как пишут исследователи, «с высокой семантической точностью», - то есть так, что мы хорошо понимаем, что он видит.
Программа даже не нуждается в тонкой подстройке к мозгу конкретного человека. Дело в том, что она интерпретирует не только активность первичной зрительной коры, отвечающей за восприятие формы и цвета, но и активность в ассоциативных зонах, - в поясе, где зрительная кора встречается со слуховой и где закодированы значения слов.
На рисунке - нейросеть читает мысли одного из испытуемых. В первом столбце – картинки, которые ему показывают. Во втором – реконструкция на основе зрительных сигналов. В третьем – реконструкция на основе сигналов «семантической коры». И в четвертом – результат, объединение двух реконструкций
56 views06:23