Пробовал с оригинальным кодом в связке с модальным окном.
1. Подключил все скрипты назад
<script type="text/javascript" src="/hostcmsfiles/ajax/JsHttpRequest.js"></script>
<script type="text/javascript" src="/hostcmsfiles/ajax/ajax.js"></script>
<script type="text/javascript" src="/hostcmsfiles/main.js"></script>
<script type="text/javascript" src="/templates/template1/hostcms.js"></script>
2. Код шаблона заменил на изначальный, только добавил код активации окна
rel="prettyPhotoи все
в итоге когда щелкаю по ссылке "Добавить запись" срабатывает яваскрипт который открывает див с полями для заполнения и открывает модальное окно с теми же полями (это модальное окно открывает все содержимое дива), получается что капча в окне не обновляется, а на странице обновляется.