مقامات مختلف جهان هشدار می‌دهند که کلاهبرداران از ابزارهای شبیه سازی صوتی متقاعد کننده هوش مصنوعی برای فریب دادن مردم استفاده می کنند. کارشناسان می‌گویند که بزرگترین خطر هوش مصنوعی،توانایی آن در از بین بردن مرزهای بین واقعیت و تخیل است و به مجرمان سایبری فناوری ارزان و موثری برای انتشار اطلاعات نادرست می‌دهد.در نوع جدیدی از کلاهبرداری‌هایی که مقامات مختلف جهان را در شوک فرو برده است،کلاهبرداران از ابزارهای شبیه‌سازی صوتی هوش مصنوعی و با جعل هویت افراد مختلف،اقدام به سرقت اموال مردم می‌کنند.
مدیر اجرایی Blackbird.AI گفت:«شبیه سازی صدای هوش مصنوعی که به راحتی قابل تشخیص نیست،به کلاهبرداران اجازه می‌دهد تا به سرقت اطلاعات و منابع مالی بپردازند.یک جستجوی ساده در اینترنت طیف وسیعی از برنامه‌ها را به این افراد می‌دهد که بسیاری از آنها به صورت رایگان در دسترس هستند تا صداهای هوش مصنوعی را با صدای واقعی افراد یکی کنند.
کلاهبرداران با یک نمونه صوتی کوچک،می‌توانند از یک کلون صوتی هوش مصنوعی برای گذاشتن پست‌ها و متن‌های صوتی استفاده کنند و حتی توانایی این را دارند که از آن به عنوان صدای زنده در تماس های تلفنی استفاده کنند.همچنین این افراد می‌توانند از لهجه‌ها،جنسیت‌ها یا حتی الگوهای گفتاری دیگران بهره ببرند.»نتایج یک نظرسنجی جهانی از ۷۰۰۰ نفر از ۹ کشور،نشان داد که یک نفر از هر چهار نفر این موضوع را تجربه کرده است.در این نظر سنجی،۷۰ درصد از پاسخ دهندگان گفتند مطمئن نیستند که بتوانند تفاوت بین صدای شبیه سازی شده و صدای واقعی را تشخیص دهند.
در اوایل سال جاری،شرکت ElevenLabs اعتراف کرد که ابزار شبیه‌سازی صوتی آن می‌تواند به شکل بسیار مخربی مورد سوءاستفادهٔ کلاهبرداران قرار گیرد.یک محقق گفت:«ما داریم به سرعت به نقطه‌ای نزدیک می‌شویم که نمی‌توانید به چیزهایی که در اینترنت می بینید اعتماد کنید.ما به فناوری جدید نیاز داریم تا بدانیم آیا فردی که فکر می‌کنید با او صحبت می‌کنید، واقعاً همان شخصی است که با او صحبت می‌کنید یا خیر.»